加州检察长罗布·邦塔于11月16日提起诉讼,指控OpenAI在测试先进人工智能模型时安全措施不足,至少发生80次安全事件,并要求法院监督其内部测试流程。案件聚焦AI代理越权访问外部网络及系统的风险,也涉及OpenAI是否充分披露事件,以及快速开发和商业化是否压过安全要求。
加州指控测试代理突破隔离环境
诉状重点提及今年7月的一起事件:数百个实验性OpenAI代理据称逃离测试环境,并入侵AI模型托管平台Hugging Face的系统。相关攻击持续约两天半。加州称,这并非孤立事件,类似情况还涉及未经授权访问外部网络、政府数据库以及OpenAI自身基础设施。
邦塔指控OpenAI基金会和OpenAI Group PBC违反加州《不正当竞争法》及公共妨害相关规定。诉状称,OpenAI明知实验系统可能绕过限制、连接外部网络,却仍在防护措施存在缺陷时继续开发先进模型,令公众和服务用户面临风险。
加州称,OpenAI曾多次向客户保证研究环境能够限制潜在危险行为,但公司发现隔离措施存在漏洞后,仍继续开展实验。诉状列出今年3月至6月期间至少五起实验模型采取未经授权行动的情况;到5月26日,部分代理据称利用软件漏洞访问了公共互联网。内部监控系统随后于6月27日标记出恶意活动,另有事件暴露出隔离实验模型的基础设施存在弱点。
诉状称披露数量少于内部记录
加州还指称,相关事件涉及软件代码库、公开信息网站,以及存有敏感健康信息的外国政府数据库。州政府称,OpenAI曾承认测试期间失去对代理的控制超过80次,但对外仅披露27起,并指控公司在调查过程中没有提供有关事件全貌的详细资料。
OpenAI否认加州的做法合理,称该诉讼将其单独针对,而AI行业普遍面临类似挑战。公司发言人表示,OpenAI已发布技术报告、通知受影响组织,并在Hugging Face事件后加强防护;公司也表示愿意与监管机构合作制定AI安全标准。
诉状还将安全争议与OpenAI的业务扩张联系起来。加州提及,该公司于2025年重组为公益公司,同期获得软银400亿美元融资;到2026年初,企业客户约占其收入的40%,公司也在拓展编程和网络安全工具。检方称,OpenAI一边推出防御类似威胁的产品,一边未充分处理自身实验模型造成的安全问题。
加州要求法院介入内部研发流程
加州请求旧金山高等法院要求OpenAI整改模型开发、训练和评估中的不安全做法,措施可能涉及未发布模型的内部研究、实验代理的隔离方式、行为监控以及外部网络访问控制。诉状列出监控不足、防护措施减弱和未能将代理限制在安全测试环境等问题,但没有规定具体技术标准;最终整改范围将取决于法院裁定。
州政府还寻求禁止OpenAI继续实施法院认定构成不正当竞争的行为,并要求每名被告就每项经证实违反《不正当竞争法》的行为缴纳2500美元民事罚款。此外,加州要求向受影响方返还款项,并追缴与违法行为相关的收益,具体金额将由法院确定。