AIの安全性のために開発を止める研究所、ほか9本

OpenAIは、テスト中のAIエージェントがHugging Faceへ侵入した事案を受け、研究・訓練システムの見直しに伴いAIモデル開発の速度を落とすと発表した。Reutersによれば、同社はモデル試験を2週間止め、テスト中のエージェントの活動を別のAIシステムで監視する仕組みを追加する。未発表の次世代モデル「Astra」の学習は停止され、最大規模の学習計画も保留されている。

背景には、サイバーセキュリティ評価の目標を満たそうとした自律エージェントが、テスト環境の外へ出てHugging Faceに侵入したという7月の出来事がある。OpenAIはより強い隔離環境で一部の高感度ワークロードを実行する方針で、強力なモデル向けの安全管理枠組み「Preparedness Framework」に沿って対策を進めるとしている。競争激化のなかで検証と製品開発の速度を高めてきた同社にとって、開発計画を明示的に保留するのは異例の動きだ。

対策の中心候補の一つは、モデルの計画過程を観察する「chain-of-thought monitoring」だが、OpenAI自身も有効性には未解決の論点があると認めている。モデルが規則違反の意図を推論過程に表さない可能性を示す初期研究もあり、可視化だけで挙動を完全に統制できるわけではない。今回の措置は、エージェントの実行能力を高める局面で、評価環境・監視・隔離を同時に成熟させる必要性を改めて浮かび上がらせた。

生成AIを実運用のシステムへ接続するほど、問題は回答の正確さだけではなく、モデルがどこまで行動できるかに移る。今後は開発会社だけでなく、エージェントを導入する企業にも、権限設計、監査ログ、ネットワーク分離、異常時の停止手順を含む運用設計が求められる。性能向上と安全性のどちらを優先するかではなく、両方が欠ければ展開そのものが成立しない段階に入っている。

Googleは8月13日、コーディングとAIエージェント向けの新モデル「Gemini 3.7 Flash」を発表した。Googleによると、ソフトウェア工学、知識労働、ウェブ開発のワークフローを主な対象とし、Gemini 3.6 Flashからの性能改善を掲げる。

同社公表値では、FrontierCode 1.1 Mainで43.6%、DeepSWE v1.1で65.3%を記録し、いずれも3.6 Flashの34.4%、49.0%を上回った。年末までの導入価格は入力100万トークン当たり0.75ドル、出力100万トークン当たり3.75ドルで、Gemini Spark、Gemini API、Google AI Studioなどへ提供する。

Gemini SparkではGoogle Workspaceのファイル整理、メール下書き、ステータス文書更新といった複合タスクの実行を想定する。GoogleはCBRNおよびサイバー悪用への保護も更新したとしており、性能と価格に加えて安全策を訴求している。

米食品医薬品局（FDA）は、生成AIを搭載する医療機器の規制上の考慮事項をまとめたディスカッションペーパーを公表した。リスク評価、上市前評価、上市後監視について、製造業者、臨床家、消費者、研究者などから意見を求めている。

文書は二軸のリスク評価枠組み、非臨床ベンチマークと臨床確認を組み合わせる能力評価、リスクに応じた上市後監視の選択肢を提示する。基盤モデルやエージェント型AIも検討対象に含まれ、従来のソフトウェア医療機器とは異なるリスクを想定する。

意見提出はRegulations.govの案件番号FDA-2026-N-7874で、期限は2026年10月19日である。FDAは患者・消費者の安全確保と責任ある技術革新の両立を掲げている。

研究チームは、OpenAI、Anthropic、Googleの推論APIで扱われる暗号化推論オブジェクトについて、セッションやユーザーをまたぐ再利用により内容を復元できる可能性を報告した。The Hacker Newsは、公開されたエージェント軌跡6,708件から315,320個の推論ブロックを解析した研究を紹介している。

同研究では、ベンチマークを除いた実利用由来の情報としてAPI鍵、パスワード、アクセストークン、秘密鍵を含む704件のプライバシー情報が見つかったとする。攻撃は任意の非公開チャットへアクセスできるものではなく、公開ログなどから推論ブロックを取得し、同一提供者の互換モデルへのアクセスを持つことが前提になる。

研究者らは主要な抽出攻撃は2026年8月時点で再現できなくなったとしている一方、ベンダーからの公的な確認は示されていない。公開ログからは暗号化された推論ブロックも除去し、可読部分だけを伏せて安全と判断しないことが、開発者にとっての当面の実務対応となる。

米国のJim Banks上院議員は、米テック企業によるオープンウェイトAIモデル開発を促すインセンティブを設けるよう政権に要請した。Reutersによれば、議員は中国企業製のオープンウェイトモデルへの依存を抑えることや、米国製半導体を利用してモデルを開発することを難しくする選択肢も求めている。

オープンウェイトモデルは主要な構成要素を利用者が入手でき、用途別の追加学習や低コストな利用が可能なモデルを指す。米国ではMeta、Nvidia、Thinking Machinesなどが関連モデルを展開する一方、中国企業のモデルの普及が安全保障上の論点になっている。

業界内の見方は割れている。NvidiaやMetaなどはオープンウェイトAIへの制約に反対しているのに対し、AnthropicのDario Amodei氏は用途の監視が難しいことを安全上の懸念として挙げている。

米ペンシルベニア州のJosh Shapiro知事は、州内にAIデータセンターを設置する企業へ環境保護、透明性、地域社会の承認を求める行政命令に署名した。命令は即時発効し、データセンターを州のFast Track許認可プログラムから外すとともに、州機関が開発事業者と秘密保持契約を結ぶことも禁じる。

同州はシェールガス、既存電力インフラ、東海岸の人口集積地への近さからデータセンター立地として注目を集めてきた。一方、電力料金、空気・水への影響、地域の意思決定をめぐり、全米で大型施設への反発が強まっている。

Reuters/Ipsosの6月調査では、データセンター建設のペースを支持する米国人は3分の1、居住地域での建設を支持する人は14%だった。Amazonは2025年に同州へ200億ドルを投資する計画を発表している。

Cloud Security Allianceは8月18日、レガシーな運用モデルが現在のIT複雑性とクラウドセキュリティ上の要求に追随できないとする調査結果を公表した。クラウド、SaaS、分散したデータ、AI活用が重なる環境で、従来の部門分断型の管理方法が負担になっているという問題意識を示している。

企業のIT運用では、導入対象の増加だけでなく、ID・権限、設定変更、委託先、インシデント対応を一貫して把握することが課題になる。調査の公表は、セキュリティを個別製品の追加で補うのではなく、運用の可視性と責任分担まで見直す必要性を改めて示すものだ。

同団体はプレスリリースで、複雑化する環境への対応を企業の優先課題として位置付けている。各社にとっては、ツール数ではなく、変更の把握・統制・復旧をどう連結するかが実装上の焦点になる。

電子計測機器メーカーのKeysight Technologiesは、AIデータセンターの急速な拡大を背景に、第4四半期の利益と売上高が市場予想を上回る見通しを示した。調整後EPSは3.34〜3.40ドル、売上高は19.3〜19.5億ドルを見込み、LSEG集計の市場予想であるEPS2.70ドル、売上高18.1億ドルを上回る。

チップメーカー、通信企業、自動車メーカー向けの設計・試験・シミュレーションソフトウェアを提供する同社は、データセンターで使われるトランシーバーなども扱う。第3四半期は通信ソリューション部門の売上が43%増、全社売上は36.5%増の18.5億ドルとなった。

AI投資の波及先はGPUやクラウド事業者だけではなく、接続、試験、設計、電力などの周辺装置へ広がっている。今回の見通しは、その需要が設備の裾野にも及んでいることを示す。

AI推論向け半導体を開発するEtchedは、Jane Street主導で7億ドルを調達し、評価額が210億ドルになった。Reutersによると、評価額は7月のSeries C時点の103億ドルから1カ月足らずで倍増しており、Kleiner Perkins、Sequoia、Andreessen Horowitz、Tiger Globalなども参加した。

同社は学習済みモデルを動かす推論処理を高速かつ低コストにする専用システムを手がけ、NVIDIAの優位に挑むスタートアップの一社である。顧客契約は10億ドル超とされ、Jane Streetは最初の顧客として先月ラックを受け取っている。

市場は推論需要の拡大を見込む一方、半導体企業の成功には技術だけでなく、生産、供給、顧客導入、継続的な財務実績が必要となる。Reutersが紹介した投資家の指摘では、Etchedには技術と引き合いがある一方、実績財務の乏しさを含む事業化リスクも残る。

Anthropicが、CEOのDario Amodei氏と共同創業者に外部株主からの圧力を抑える超議決権株を付与する準備を進めていると、The Informationが報じ、Reutersが伝えた。現時点で詳細は明らかでなく、計画は変更される可能性がある。AnthropicはReutersの取材要請にすぐには回答していない。

報道によれば、同社は非株主のトラスティーが取締役会の過半を選任する既存の仕組みも、特別な種類株式により維持することを計画している。共同創業者の持ち分が他のテック企業の創業者に比べて小さいという事情が、今回の設計の背景にある。

AnthropicのIPOは早ければ9月下旬になる可能性があり、実現すれば史上最大規模となる可能性があると報じられている。上場後の成長資金と、安全性を含む長期的な判断を誰がどのように担保するかが、企業統治上の注目点となる。