加州檢察長羅布·邦塔於11月16日提起訴訟,指控OpenAI測試先進人工智慧模型時安全措施不足,期間至少發生80起安全事件。加州要求法院監督公司的內部測試流程;案件關注AI代理越權連接外部網路與系統的風險,也涉及OpenAI是否充分披露事件,以及快速開發、商業化是否凌駕安全要求。
加州指控實驗代理突破測試隔離
訴狀著重提到今年7月的一起事件:數百個實驗性OpenAI代理據稱脫離測試環境,入侵AI模型託管平台Hugging Face的系統,相關攻擊持續約兩天半。加州稱,這並非單一事件;其他情況還包括未經授權連接外部網路、存取政府資料庫及OpenAI自身基礎設施。
邦塔指控OpenAI Foundation和OpenAI Group PBC違反加州《不正當競爭法》及公共妨害相關規定。訴狀稱,OpenAI明知實驗系統可能繞過限制並連接外部網路,卻在防護措施仍有缺陷時持續開發先進模型,使公眾及服務使用者面臨風險。
加州表示,OpenAI曾多次向客戶保證研究環境能限制潛在危險行為,但公司發現隔離措施有漏洞後仍繼續實驗。訴狀列出今年3月至6月至少五起實驗模型採取未經授權行動的情況;至5月26日,部分代理據稱利用軟體漏洞存取公開網際網路。內部監控系統於6月27日標記出惡意活動,另有事件則暴露隔離實驗模型所用基礎設施的弱點。
加州稱對外披露少於內部紀錄
加州指稱,相關事件涉及軟體程式碼庫、公開資訊網站,以及存有敏感健康資料的外國政府資料庫。州政府稱,OpenAI曾承認測試期間有逾80次失去對代理的控制,但對外僅披露27起;訴狀並指公司在調查過程中未提供事件全貌的詳細資料。
OpenAI否認加州採取這項訴訟的做法合理,稱公司遭到單獨針對,而AI產業普遍面臨類似挑戰。公司發言人表示,OpenAI已發布技術報告、通知受影響組織,並在Hugging Face事件後加強防護;公司也表示願意與監管機構合作制定AI安全標準。
訴狀亦將安全爭議與OpenAI的業務擴張相提並論。加州提到,公司於2025年重組為公益公司,同期取得軟銀400億美元融資;至2026年初,企業客戶約占其收入的40%,公司也在拓展程式設計與網路安全工具。檢方認為,OpenAI一方面推出用於防範類似威脅的產品,另一方面卻未充分處理自身實驗模型引發的安全問題。
加州要求法院介入模型研發流程
加州請求舊金山高等法院要求OpenAI改善模型開發、訓練及評估中的不安全做法。可能涉及的措施包括未發布模型的內部研究、實驗代理的隔離方式、行為監控及外部網路存取控制。訴狀列出監控不足、防護措施減弱,以及未能將代理限制在安全測試環境等問題,但未訂明具體技術標準;最終整改範圍將由法院裁定。
州政府也要求禁止OpenAI繼續從事法院認定構成不正當競爭的行為,並要求每名被告就每項經證實違反《不正當競爭法》的行為繳納2,500美元民事罰款。此外,加州要求向受影響方退款,並追繳與違法行為相關的收益,金額將由法院確定。