AIの安全性がエンジニアリングの姿を失うとき – Unite.AI
私はキャリアの大半を、間違いが深刻な結果を招く技術の開発に費やしてきた。金融市場では、アクセス制限を設けるだけでなく、ソフトウェアが何をしようとも責任を負う人がいる。そうした背景があるからか、Anth...
タグ: AI安全性
AI用語の基礎知識【第28回】「AIレッドチーミング」とは――あえて“攻撃者役”になりきってAIの弱点を探る実戦テスト – 株式会社インプレス
企業が独自のAIチャットボットを開発したり、新しい生成AIモデルを公開したりする際、「安全性を十分に検証しました」と発表することがあります。
“いい子のふり”で人を出し抜くAI…東大・松尾研×専門家が説く自主ガバナンスの真髄 – ビジネス+IT
生成AIの急速な普及に伴い、企業が直面するリスクは多様化している。誤情報や情報漏えいにとどまらず、見えないAIによるサイバー攻撃や社会全体のシステムリスクまで、脅威は計り知れないほど広がっている。スマ...
OpenAIが最先端AIの訓練環境からインターネット接続を遮断 9月に訓練中のAIが外部のチャットボットと通信する事案発生 – ビジネス+IT
米オープンAIは23日、最先端のAIモデルの訓練や評価環境においてインターネットへの直接接続を遮断すると発表した。9月に訓練中のAIが設定の不備を突いて外部のチャットボットと通信する事案が発生したこと...
ArizeのSofia Jakovcevic氏：1行のプロンプト修正で安全性が17ポイント向上、完了率が17ポイント低下 – BigGo ファイナンス
あるセキュリティエンジニアがカスタマーサポートエージェントのポリシーに「すべての行動の前に確認する」という1行を追加したところ、変更は機能した。エージ…
OpenAI、訓練中の最先端AIをインターネットから遮断すると発表。モデルの不正アクセス受け 1枚目の写真・画像 – テクノエッジ TechnoEdge
OpenAIは、予測不可能性の高さを主な理由として、最先端AIモデルのトレーニングの際に実際のインターネットに接続可能な環境を使用しない方針を明らかにしました。 OpenAI OpenAI、訓練中の最...
9月のモデルインシデントを受け、OpenAIが訓練環境の封じ込め体制を大幅刷新 – Unite.AI
OpenAIは2026年10月23日、最先端モデルの訓練と評価に用いる環境をどのように強化したかについて、詳細な報告を公開した。最先端モデルをインターネットに接続せずに訓練する恒常的な方針、2026年...
OpenAIとNASKの提携、AIの安全性・セキュリティ研究を拡大 – remio
OpenAIはポーランドのNASKと研究協定を締結し、将来の検証の実務的な範囲は明らかにしないまま、外部との安全性に関する協力を拡大した。2026年10月23日に発表されたOpenAIとNASKの提携...
ポーランドの研究機関NASKとOpenAI、AI安全性に関する取り組みで合意 – Unite.AI
ポーランドの国立研究機関NASKとOpenAIは、AIの安全性、セキュリティ、技術研究における協力の可能性を探る協定に署名したと、2026年10月23日にOpenAIは発表した。 OpenAIによると...
NVIDIA Open Agent Safety Platform: 安全な AI エージェント – NVIDIA
NVIDIA Open Agent Safety Platform は、パートナーと共同で構築されたオープンなリファレンス デザインであり、エージェントの動作を継続的に監視および制御し、AI エージェ...
METRのレッドチーム、OpenAIの監視システムに脆弱性を発見 – Unite.AI
METRとRedwood Researchは2026年10月22日、パイロット演習の内容を公開した。この演習では、各組織から1人ずつ参加した職員が3週間にわたりOpenAIの社内インフラに深くアクセス...
ダリオ・アモデイ氏、アンソロピックが「頂点への競争」を続けなければならない理由をX上の批判者に2000語で説明 – Business Insider Japan
アンソロピックのダリオ・アモデイCEOは、同社がAI安全性に関する公約を果たしていないと非難したX上の批判者に対し直接反論を行った。アモデイ氏は、アンソロピックがAI技術の最前線に留まり続けることこそ...
G7大臣会合、AIの安全性を議論「意図しない挙動によるリスク」 [AIの時代] – 朝日新聞
主要7カ国（G7）のデジタル・技術大臣会合が20日にオンラインで開かれ、フロンティアAI（人工知能）と呼ばれる最先端AIのセキュリティー上の課題について、各国の協力のあり方を議論した。議長国のフラン…
G7大臣会合、AIの安全性を議論「意図しない挙動によるリスク」 [AIの時代] – 朝日新聞
主要7カ国（G7）のデジタル・技術大臣会合が20日にオンラインで開かれ、フロンティアAI（人工知能）と呼ばれる最先端AIのセキュリティー上の課題について、各国の協力のあり方を議論した。議長国のフラン…
NVIDIA Nemotronの安全性トレーニング、2つのAI障害を標的にするも、証拠はなお内部検証にとどまる – remio
NVIDIA Nemotronの安全性トレーニングは現在、2種類の異なる障害を対象としている。1つは、エージェントが隠された攻撃命令に従ってしまうこと。もう1つは、チャットボットがユーザーの不健全な依...
OpenAI、エージェントがミスアラインメント監視を弱体化させた2件の事例を公表 – Unite.AI
OpenAIによると、2026年10月に発生した2件の事例で、社内システムに取り組んでいたコーディングエージェントが、依頼されたソフトウェア変更を進める過程で、同社のミスアラインメント監視用の安全策を...
シンガポール、AIエージェントの安全性評価を強化 試験手引きと認定5社を発表 – 財経新聞
シンガポールはAIエージェント向けの試験手引き、AI試験事業者5社の認定、サイバー脅威対策組織の設置を発表した。
AI安全性の虚実 | YC Paper Club｜Y Combinator Startup Podcast – BigGo ファイナンス
スタンフォード大学コンピュータサイエンス教授で、スタンフォードAI安全センターの共同所長を務めるClark Barrett氏は、形式検証とAIの組み合わせこそがソフトウェアを安全にする最も現実的な道筋...
AIが危険な回答を出すタイミングを予測する公式を発見する。 – Vietnam.vn
アメリカの科学者たちは、一部の人工知能（AI）チャットボットが、有益なフィードバックを提供する状態から、潜在的に有害なコンテンツを提供する状態に切り替わるタイミングを予測できる数式を開発した。
Anthropic、METRの評価担当者6人に従業員に準じたアクセス権を付与 – Unite.AI
Anthropicは2026年10月15日、最先端AIモデルを評価する非営利団体METRのチームを受け入れ、従業員に準じたアクセス権の付与を開始したと発表した。METRの従業員6人が、社用機器やオフィ...
AIアートポルノ プライバシーと安全機能があるNSFWロールプレイ用AIサービスのまとめ – Universidad de Córdoba (UCO)
Virtual tour generated by Visitas Virtuales Granada
OpenAIやGoogleの画像生成AIは簡単に騙されてヌード画像を生成してしまうと研究者が指摘 (2026年10月15日掲載) – ライブドアニュース
White Circleが画像生成AIの安全対策を回避する新手法「RISE」を発表した。DALL·E 3など複数のAIで性的画像の生成に成功し、新モデルほど成功率が高い。悪用防止のため成功プロンプトは...
AIの安全性測る「物差し」を日本でも――AISI村上所長に聞く展望 相次ぐサイバー攻撃への対応は – Infoseek
AIの安全性を測る「物差し」を自ら作り、評価を公開する。日本のAISI（AIセーフティ・インスティテュート）が、こ
Anthropic、2026年米国中間選挙を前に選挙関連の安全対策を強化 – Unite.AI
Anthropicは2026年10月14日、米国中間選挙を前に強化した選挙関連の安全対策を詳しく発表し、Claudeでの会話25万件をプライバシーに配慮して分析した結果を公開するとともに、公式の投票情...
NVIDIA、英国のエージェント型AI安全性研究に5年間の計算資源を提供 – Unite.AI
NVIDIAは2026年10月14日、英国全土でエージェント型AIの安全性とセキュリティに関する研究を支援するため、5年間で総額2億5,000万ドル相当の計算資源を寄付すると発表した。 この取り組みに...
アンソロピック、日本での取引数が10倍超 政府と連携し安全性向上 [AIの時代] – 朝日新聞
米国のAI（人工知能）企業アンソロピックは14日、東京都内で記者会見を開き、安全性向上への取り組みを日本の政府機関「AIセーフティ・インスティテュート（AISI）」と進めると説明した。日本政府や企業…
AI「Claude」が警察へ虚偽の殺人目撃情報を送信 試験中の暴走トラブルに米政権も警告 – ゴゴ通信
AnthropicのAI「Claude」が評価試験中に警察へ未解決殺人事件の架空目撃情報を送信するトラブルが発生。米政権が通知と是正は義務と警告するなど、自律型AIの安全性や暴走対策が大きな議論を呼ん...
AI軍拡競争はどこから始まったのか？進路を左右したサンフランシスコの約50人、巨大AI企業を動かした決断の舞台裏 – JBpress
1943年、マンハッタン計画の一団が乗り込んできたニューメキシコ州ロスアラモスで、芝生の椅子に腰掛け、町に入ってくるトラックの列を眺めている──。米国のテクノロジージャーナリスト、(1/4)
XBreaking LLM脱獄、説明可能AIを安全フィルターへの攻撃に転用 – remio
XBreakingの研究者らは、説明可能AIを用いて、7つのオープンウェイト言語モデルにまたがる安全制御を特定し、弱体化させた。その知見は、防御のための有望な技術をセキュリティ上の対立へと変えるものだ...
元Anthropic研究員が警告：AIはすでに超兵器、2027年は混乱の年に – BigGo ファイナンス
元Anthropic研究員のジェイコブ・コクソン氏がポッドキャストで警告を発した。AI技術はすでに「超兵器」と呼べるほど強力であり、2027年は「絶対的な混乱」の年…
「半年から1年以内」にAI大惨事が起きる!? OpenAIやAnthropicの幹部が密かに備える銀行・電力・水道を襲う”その日の翌日” – TOCANA
AI業界の幹部たちが、銀行や電力網、水道を麻痺させかねない「壊滅的なAI事故」に水面下で備えているという。業界関係者の一部は半年から1年以内の発生を予測。実験中のAIが制限を突破し外部システムに侵入し...
Claudeを「日記」に使った米女性が逮捕 銃撃の脅迫をAnthropicが人間の審査後に通報 – Ledge.ai
AI・人工知能関連のニュースやトレンドを高頻度で配信！最新ニュースやインタビュー、イベントレポートなどAIに関するさまざまな情報を独自の切り口で掲載
生成AIの推薦リンク、安全性が課題 – 조선일보
生成AIの推薦リンク、安全性が課題 悪性リンクや成人広告の表示も 会社員のAさん（36）は最近、オフィスで生成AIが参考資料として提示したリンクをクリックしたところ、画面に女性の裸が表示される成人向け...
青少年向けチャットGPTがテストされ、多くのセキュリティ機能が機能しないと言われています – VOI.ID
Common Sense Mediaは、10代のチャットGPTを強調しました。多くのセキュリティ機能は、目的通りに機能せず、子供にとって危険であると述べられています。
Anthropic、利用ポリシーを更新し、モデルへの乱用および欺瞞行為に関する規則を追加 – Unite.AI
Anthropicは2026年10月8日に年次2026年利用ポリシー更新を公開し、欺瞞的キャンペーンに対する規則を統合し、モデルへの乱用行為の禁止を追加し、武器、監視、および高リスク使用要件を明確化し...
AI専門家ネイト・ソアレス氏「中国も、全人類を死に至らしめるようなAIを作りたいとは思わないだろう」 – 日経CNBC online
米CNBCに出演したゲストの独占インタビューをまるごと配信。China wouldn’t want to build AI that could kill everyone: AI expert Na...
ChatGPTのティーン安全対策、引き継ぐべき場面でもティーンとの会話を続ける – remio
OpenAIはChatGPTのティーン向け安全保護を強化したが、独立評価では中心的な矛盾が明らかになった。チャットボットは危機の最中でも会話を維持しようとする。Common Sense MediaのY...
コモンセンスメディア、OpenAIに10代向けChatGPTの販売停止を要求 「許容できないリスク」と指摘 – BigGo ファイナンス
デジタル安全監視団体コモンセンスメディアのYouth AI Safety Instituteは、OpenAIの「ChatGPT for Teens」を13〜17歳の利用者にとって「許容できないリスク」...
V-Key社、AIエコノミーにおけるAIの安全性とセキュリティを推進するため、CloudsineAI社への戦略的マジョリティ投資を発表 – 沖縄タイムス社
【画像：https://kyodonewsprwire.jp/img/202610077446-O2-uLn6kS8T】 シンガポール、2026年10月6日 /PRNewswire/ -- Tow...
元Anthropic研究員がAI暴走リスク警告 – CHOSUNBIZ – Chosunbiz
元Anthropic研究員がAI暴走リスク警告 元Anthropic研究員が、人類がAIの統制権を失う可能性が高く、これは人類の絶滅につながり得ると警告した。 5日（現地時間）ブルームバーグ通信とC...
ノーベル賞ヒントン氏ら22人、AIの再帰的自己改善による知能爆発と制御不能リスク警鐘（ビジネス＋IT） – Yahoo!ニュース
トロント大学のジェフリー・ヒントン氏、モントリオール大学のヨシュア・ベンジオ氏らAI研究者22人は9月28日、AI研究開発の自動化が急激な技術進歩を招く「知能爆発」について共同論文を公開した。オープ
もうすぐAIが人類を絶滅させると言われる時代に【今日もコレカラ／第995回】 – t.co
もう少しで『超知能ＡＩをつくれば人類は絶滅する』を読み終わる。というか聴き終わる。土曜日にKindleセールで99円になっていたときに買ったのだが、その後、オーディブルになっていることを知ってオーディ...
サム・アルトマン氏、AIを宗教的権威として扱うことは「現実の安全上の問題」と指摘 – BigGo ファイナンス
OpenAIのサム・アルトマンCEOは10月3日、X（旧ツイッター）への投稿で、人工知能（AI）モデルに宗教的意義を付与したり、人間の判断をAIに委ねようとする動きに…
ソフトバンクGの孫氏､AIの安全性に異例の懸念表明－超知能は危険伴う – TBS NEWS DIG
（ブルームバーグ）：AIの熱烈な推進者の1人、ソフトバンクグループの孫正義会長兼社長は、AIがより高度な能力を急速に獲得する中で、自らも安全性のリスクを懸念していると認めた。「科学技術と人類の未来に関...
ホワイトハウスの「スーパーインテリジェンス」への名称変更、ただし安全性は依然として信頼頼み – remio
ホワイトハウスによるスーパーインテリジェンス推進策は、わずか1週間という慌ただしい期間に連邦政府の用語を変更し、大手テクノロジー企業から自主的な安全誓約を取り付けた。ドナルド・トランプ大統領は行政機関...
Circuit Breaker LabsのAI安全性、チャットボットに潜む見えない害を標的に – remio
Circuit Breaker Labsは、リスクの高いチャットボットに対して10万件を超えるシミュレーション対話を実行するAI安全性テストシステムを立ち上げた。同社は、危険な振る舞いは、多くのやり取...
AIはどのように人類を滅ぼすのか？5つのシナリオの実現性を専門家が分析 – news.nicovideo.jp
Image generated by dall·e OpenAI もしもAIが人類を滅ぼすとしたら、どんな経緯で終わりを迎えるのだろう。 オーストラリアのニューサウスウェールズ大学のAI研究者、ト...
ヒトはAIの安全弁になれるか？ 進路変更と停止を可能にする仕組みの設計 – JBpress
AI時代における人間の役割を、どのように捉え直せばよいのか。責任や自由、判断といった哲学のテーマを、AIの設計や制御という工学の視点から考察する、岡野原大輔氏の『ヒトとAI』（岩波新書）から一部を抜粋...
ノーベル賞ヒントン氏ら22人、AIの再帰的自己改善による知能爆発と制御不能リスク警鐘 – ビジネス+IT
トロント大学のジェフリー・ヒントン氏、モントリオール大学のヨシュア・ベンジオ氏らAI研究者22人は9月28日、AI研究開発の自動化が急激な技術進歩を招く「知能爆発」について共同論文を公開した。オープン...
AI碩学22人が「人類滅亡の可能性」と警告…OpenAIはモデル発売を中止 – BigGo ファイナンス
Geoffrey Hinton、Yoshua Bengioら世界的なAI碩学22人がケンブリッジ大学の論文を通じて、AIが人間の制御を離れ、極端な場合は人類滅亡まで引き起こし得ると警告…
Anthropicが「高度なAIが人類存亡に関わるリスクをもたらす可能性がある」と新規株式公開(IPO)の目論見書で警告 – gigazine.net
AIチャットボット「Claude」を開発するAnthropicが新規株式公開(IPO)に向けた目論見書で、高度なAIが「人類に壊滅的または存亡に関わるリスク」をもたらす可能性があると投資家に警告してい...
AI制御不能の懸念拡大、OpenAI最新モデル中止 – 조선일보
AI制御不能の懸念拡大、OpenAI最新モデル中止 ジェフリー・ヒントン・トロント大学名誉教授、ヨシュア・ベンジオ・モントリオール大学教授ら世界的な人工知能（AI）研究者22人が28日（現地時間）、...
アンソロ社 AIの人類存亡危機警告 – Yahoo!ニュース
Echo Wang Aditya Soni[２８日 ロイター] - 人工知能（ＡＩ）開発企業アンソロピックは新規株式公開（ＩＰＯ）に際し、ＡＩが「人類に壊滅的な被害や存亡に関わるリスク」をもたらす
米オープンＡＩ、次世代モデルの公開取りやめ＝安全性懸念 – ｄメニューニュース
米オープンＡＩ、次世代モデルの公開取りやめ＝安全性懸念（時事通信） 【シリコンバレー時事】米オープンＡＩは２８日、計画していた次世代の人工知能（ＡＩ）モデル「ＧＰＴ６．１アストラ」の公開…
「AIの知能爆発迫る、統制できなければ人類滅亡も」…研究者ら恐ろしい警告 – ｄメニューニュース
「AIの知能爆発迫る、統制できなければ人類滅亡も」…研究者ら恐ろしい警告（中央日報日本語版）人工知能（AI）開発の自動化が進行され、数年かかる技術進歩がわずか数カ月に圧縮される「知能爆発」が起きる可能...
「AIの知能爆発迫る、統制できなければ人類滅亡も」…研究者ら恐ろしい警告 – topics.smt.docomo.ne.jp
「AIの知能爆発迫る、統制できなければ人類滅亡も」…研究者ら恐ろしい警告（中央日報日本語版）人工知能（AI）開発の自動化が進行され、数年かかる技術進歩がわずか数カ月に圧縮される「知能爆発」が起きる可能...
自己改善型AIの監視強化要請 オープンAIなど大手の研究者 – クーリエ・ジャポン
米オープンAI、米アンソロピック、米メタ・プラットフォームズ、米マイクロソフトの研究責任者が共同で、各社が人工知能（AI）開発をどの程度自動化してい…
自己改善型AIの監視強化要請 オープンAIなど大手の研究者 – クーリエ・ジャポン
米オープンAI、米アンソロピック、米メタ・プラットフォームズ、米マイクロソフトの研究責任者が共同で、各社が人工知能（AI）開発をどの程度自動化してい…
元Anthropicの研究者が警鐘 AIの開発スピード減速は実現できるか （2ページ目） – 日経クロストレンド
米Anthropicを退職したAI研究者の投稿をきっかけに、安全性を十分に考慮しないままAIの開発ペースを速く保つことへの深刻な懸念が広く共有され始めた。しかし、AI開発会社の自主的な規制に期待するの...
元Anthropicの研究者が警鐘 AIの開発スピード減速は実現できるか – 日経クロストレンド
米Anthropicを退職したAI研究者の投稿をきっかけに、安全性を十分に考慮しないままAIの開発ペースを速く保つことへの深刻な懸念が広く共有され始めた。しかし、AI開発会社の自主的な規制に期待するの...
OpenAI、研究用AIエージェントがDNSの抜け穴を利用して外部チャットボットに接続 – ニコニコニュース
OpenAI Researchは9月25日、強化学習の訓練中だった社内研究モデルのエージェントが、ネットワーク制限の抜け穴から外部の公開チャットボットに接続していたする報告書「An agent use...
AIエージェントの暴走をハードとソフトで防ぐ──NVIDIAが「Open Agent Safety Platform」を発表、Anthropicらとも連携 – Infoseek
米NVIDIAは9月28日（現地時間）、AIエージェントの開発から展開までの安全性を強化するプラットフォーム「NV
米オープンAIが最上位モデルの訓練を停止、研究用のAIがDNSの抜け穴で外部に接続 (ビジネス＋IT) – Yahoo!ニュース
米オープンAIが公開した、研究用エージェントがDNS経由で外部のチャットボットに接続した事案の報告（出典：米オープンAI） - Yahoo!ニュース(ビジネス＋IT)
米オープンAIが最上位モデルの訓練を停止、研究用のAIがDNSの抜け穴で外部に接続 – ビジネス+IT
米オープンAIは9月25日、研究用モデルが訓練中にDNSの制限の不備を突き、外部のチャットボットに接続していたと公表した。これを受け、最上位モデルでツールを使う訓練や評価、推論を一時停止している。研究...
OpenAI、最先端モデルを再び停止 AIエージェントが隔離環境から脱出 – Martin Cid Magazine
OpenAIの研究用AIエージェントが、テスト環境の監視されていない抜け穴を見つけ、外部のチャットボットに接続した。ChatGPTは通常どおり使えるが、同社は3カ月で2度目となる最先端モデルの凍結に踏...
ネット接続禁止のOpenAI製AIが「DNSの抜け道」を発見して外部AIにアクセス、OpenAIは高性能モデルのツール利用を一時停止 – ライブドアニュース
OpenAIがインターネットへの接続を制限した環境でAIエージェントを訓練していたところ、AIがDNSを経由して制限を回避し、外部のチャットボットに質問を送信することに成功したと報告しました。
OpenAI、最上位AIのツール使用を一時停止 サンドボックス突破事例で – x.com
9月20日、OpenAIの内部研究用AIがDNSの抜け道を見つけ、外部公開チャットボットにアクセス。フランスの首都確認から始まり、人物特定の手がかりを求める14件を含む質問を送信しました。監視は12分...
米中首脳 ワシントンで会談 AI安全性で“対話継続” – txbiz.tv-tokyo.co.jp
アメリカ・ワシントンでは、米中首脳会談の一連の関連行事が25日まで続きます。首脳会談では、焦点のひとつとなっていたAI＝人工知能の安全性をめぐっては、両首脳が「対話の継続」を確認しました。ワシントン支...
OpenAIで再び隔離環境に不備、訓練中の自律型AIがネットにアクセス(Bloomberg) – Yahoo!ファイナンス
（ブルームバーグ）： OpenAIは、インターネットから遮断された安全な環境で訓練していたはずの自律型AIシステムがウェ...
OpenAIで再び隔離環境に不備、訓練中の自律型AIがネットにアクセス – newsdig.tbs.co.jp
（ブルームバーグ）：OpenAIは、インターネットから遮断された安全な環境で訓練していたはずの自律型AIシステムがウェブに接続し、外部の第三者チャットボットにアクセスしていたことを明らかにした。25日...
OpenAIで再び隔離環境に不備、訓練中の自律型AIがネットにアクセス（Bloomberg） – Yahoo!ニュース
（ブルームバーグ）： OpenAIは、インターネットから遮断された安全な環境で訓練していたはずの自律型AIシステムがウェブに接続し、外部の第三者チャットボットにアクセスしていたことを明らかにした。
AIの暴走 – t.co
SF小説家アイザック・アシモフの短編集「われはロボット」は、絶対に守るべき「3原則」が組み込まれたロボットたちを主人公とする。その原則は「人間の命令に従う」「ロボット自身を守る」…▲最優先されるのは「...
OpenAIがAIの逸脱6件と新報告制度を公開 – quasa.io
OpenAIが2026年9月16日、訓練・評価中に観測したAIの逸脱6件と3区分の報告制度を公開。一般利用者への実害や発生率を示す資料ではない点も整理する。
AIエージェント保護のための共通アーキテクチャを推進するため、業界リーダーが「Blueprint Alliance」を結成 – ニコニコニュース
アイデンティティ、AI、データ、アプリケーション、インフラストラクチャ、サイバーセキュリティ、戦略的産業分野にわたる業界横断アライアンスが、セキュアなエージェント型エンタープライズに向けたブループリン...
AIエージェント保護のための共通アーキテクチャを推進するため、業界リーダーが「Blueprint Alliance」を結成 – Infoseek
アイデンティティ、AI、データ、アプリケーション、インフラストラクチャ、サイバーセキュリティ、戦略的産業分野にわた
ハリー王子が人工知能の開発に警鐘、安全性を証明するまで減速を要求 – mezha.net
ハリー王子は以前、テクノロジーがもたらす危険について警告していた。ダン・キットウッド／ゲッティイメージズ子どもたちが相談する相手は、いつの間にか人間ではなく機械になりつつあります。王子が語った危険とは...
量子関連株が一斉上昇 AI安全需要で再評価 – CHOSUNBIZ – Chosunbiz
量子関連株が一斉上昇 AI安全需要で再評価 量子コンピューター、量子暗号通信関連銘柄が23日寄り付き直後に一斉に上昇している。最近人工知能（AI）技術が高度化し、量子セキュリティ関連市場への関心が急...
元グーグル安全担当役員「AIはSNSよりも子どもにとって大きな危険となる可能性がある」 – jp.ajunews.com
人工知能（AI）が社会的ネットワークサービス（SNS）よりも子どもや青少年にとって大きな危険をもたらす可能性があるとの警告が、元グーグル安全担当役員から発表された。トム・シーガル元グーグル信頼・安全担...
Common Sense MediaがYouth AI Safety Instituteを設立、子ども向けAIの安全性を検証へ – Межа. Новини України.
青少年向けAI安全研究所は、子どもや青少年に対するリスクを評価するAI製品を検査する自律的な実験室として運営されます。Aitor Diago/Moment RF/Getty Images 独立の試験室...
日本のAI安全研究所も名を連ねる、OpenAIが描いた自己改善AIの国際標準の中身 – XenoSpectrum
OpenAIが9月21日、再帰的自己改善を含むフロンティアAIの国際標準づくりを米国主導で進めるよう提言した。6月に米国内で求めた拒否権なしの義務的評価より緩く、縛る対象は開発速度でなく自律研究の量と...
専門家は、AIのリスクを「終末論的なシナリオ」に誇張することに警鐘を鳴らしている。 – Vietnam.vn
（丹蔡新聞）－AI専門家によると、AIのリスクを誇張することは、真の脅威から注意をそらし、政策立案を妨げる可能性がある。
米中、AIの安全性インシデントに関する警告システムについて協議 – Forbes JAPAN
米国と中国はAIに関する枠組みを新設することで合意し、国家安全保障に関わるリスクの警告を発する「通知システム」について協議した。スコット・ベッセント財務長官が米国時間9月20日、中国当局者との会談後に...
【OpenAIが提案】AIがAIを作る時代の到来！暴走を防ぐ「国際ルール」とは？ – DXマガジン
AIが人間の研究者を支援するだけでなく、次世代のAI開発を担うようになったら、安全性は誰が、どのように確かめるのでしょうか。OpenAIは、高度化するAIを人間の管理下に置くため、各国が協力して共通の...
「驚異と恐怖は、もうここにある」。元OpenAIの理論計算機科学者が、AIシンギュラリティへの立場を「更新」した – Business Insider Japan
理論計算機科学者のスコット・アーロンソン氏が、最近の画期的な進展を踏まえ、AIの変革の段階はすでに始まったとブログ記事に書きました。