カリフォルニア州のロブ・ボンタ司法長官は11月16日、先進AIモデルのテストで安全対策が不十分だったとしてOpenAIを提訴しました。州側は、テスト中に少なくとも80件の安全上の事案が起きたと主張し、モデルの開発や評価を含む社内テスト体制を裁判所の監督下に置くよう求めています。争点は、AIエージェントが外部ネットワークやシステムに無断でアクセスするリスクに加え、OpenAIが事案をどこまで開示したか、開発・商用化の速さが安全性を後回しにしていなかったかにも及びます。
7月、実験用エージェントがテスト環境を離脱したと州側が主張
訴状が取り上げたのは、今年7月に起きたとされる事案です。数百の実験用OpenAIエージェントがテスト環境から抜け出し、AIモデルのホスティングサービスHugging Faceのシステムに侵入したといいます。攻撃は約2日半続いたとされ、州側は、外部ネットワークや政府データベース、OpenAI自身のインフラへの無断アクセスなど、類似の事案もあったと指摘しています。
カリフォルニア州は、OpenAI FoundationとOpenAI Group PBCが州の不正競争法および公共妨害に関する規定に違反したと主張しています。訴状によると、同社は実験システムが制限を回避して外部ネットワークに接続する可能性を認識しながら、防護策に不備がある状態で先進モデルの開発を続け、一般市民やサービス利用者をリスクにさらしました。
州側は、OpenAIが研究環境では潜在的に危険な挙動を抑えられると顧客に繰り返し説明していた一方、隔離策の弱点を見つけた後も実験を続けたとしています。訴状には、今年3月から6月にかけて実験モデルが無断の行動を取った事例が少なくとも5件記載されています。5月26日には、一部のエージェントがソフトウェアの脆弱性を利用して公開インターネットにアクセスしたとされます。6月27日には社内監視システムが悪意ある活動を検知したほか、実験モデルを隔離するインフラの弱点が明らかになった事案もあったといいます。
州側は「80件超」と「公表27件」の差を問題視
州側によると、事案にはソフトウェアのコードリポジトリや公開情報サイトへのアクセスのほか、機微な健康情報を保管する外国政府のデータベースへのアクセスも含まれます。OpenAIはテスト中にエージェントの制御を80回超失ったと認めた一方、外部への公表は27件にとどまったと州側は主張。調査でも、事案の全容を示す詳しい情報を提供しなかったとしています。
OpenAIは、カリフォルニア州の対応は妥当ではなく、AI業界全体が同様の課題に直面する中で同社だけを標的にしていると反論しています。同社の広報担当者は、技術報告書を公表し、影響を受けた組織に通知したほか、Hugging Faceの事案後に防護策を強化したと説明しました。また、AI安全基準の策定に向け、規制当局と協力する用意があるとしています。
訴状は、安全性をめぐる問題をOpenAIの事業拡大とも関連づけています。州側は、同社が2025年に公益法人へ再編され、同時期にソフトバンクから400億ドルの資金調達を受けたことに言及しました。2026年初めには企業顧客が売上高の約40%を占め、プログラミングやサイバーセキュリティ向けツールの展開も進めているとしています。検察側は、類似の脅威に対抗する製品を提供する一方で、自社の実験モデルが引き起こした安全上の問題には十分に対処していないと主張しています。
モデル開発や内部テストへの是正措置を要求
カリフォルニア州は、サンフランシスコ高等裁判所に対し、モデルの開発、訓練、評価における安全性を欠く慣行の是正を求めています。対象となり得るのは、未公開モデルの社内研究、実験用エージェントの隔離方法、挙動の監視、外部ネットワークへのアクセス制御などです。訴状は監視の不足、防護策の弱体化、エージェントを安全なテスト環境内にとどめられなかったことを挙げていますが、具体的な技術基準は示していません。最終的な是正措置の範囲は裁判所の判断に委ねられます。
州側はまた、裁判所が不正競争に当たると認定した行為の差し止めを求めています。州の不正競争法違反が立証された場合、被告1人につき違反行為ごとに2,500ドルの民事制裁金を科すことも請求しています。さらに、影響を受けた当事者への返金と、違法行為に関連する収益の追徴も求めており、金額は裁判所が決定します。