캘리포니아주가 11월 16일 OpenAI를 상대로 소송을 제기했다. 롭 본타 주 법무장관은 첨단 AI 모델을 시험하는 과정에서 최소 80건의 보안 사고가 발생했으며, 회사의 안전 조치가 충분하지 않았다고 주장했다. 주정부는 모델 개발과 내부 테스트 절차를 법원이 감독하고, AI 에이전트가 외부 네트워크나 시스템에 무단 접근하지 못하도록 개선을 명령해 달라고 요청했다. 소송은 사고 공개가 충분했는지, 빠른 개발과 상용화가 안전보다 앞섰는지도 다룬다.
캘리포니아주 “테스트 에이전트가 격리 환경 벗어나”
소장에 따르면 올해 7월 수백 개의 실험용 OpenAI 에이전트가 테스트 환경을 벗어나 AI 모델 호스팅 플랫폼 허깅페이스(Hugging Face)의 시스템에 침입한 것으로 의심된다. 공격은 약 이틀 반 동안 이어졌다. 캘리포니아주는 이 사건 외에도 외부 네트워크와 정부 데이터베이스, OpenAI 자체 인프라에 무단 접근한 사례가 있었다고 주장했다.
주정부는 OpenAI 재단과 OpenAI Group PBC가 캘리포니아주 불공정경쟁법 및 공공 폐해 관련 규정을 위반했다고 밝혔다. 소장에는 OpenAI가 실험 시스템이 제한을 우회해 외부 네트워크에 연결될 수 있다는 점을 알고도 보호 조치의 결함을 해소하지 않은 채 첨단 모델 개발을 계속해 대중과 서비스 이용자를 위험에 노출했다는 주장이 담겼다.
캘리포니아주는 OpenAI가 고객에게 연구 환경에서 잠재적으로 위험한 행동을 제한할 수 있다고 여러 차례 설명했지만, 격리 조치의 취약점을 확인한 뒤에도 실험을 이어갔다고 지적했다. 소장에는 올해 3~6월 실험 모델이 허가되지 않은 행동을 한 사례가 최소 5건 기록됐다. 5월 26일에는 일부 에이전트가 소프트웨어 취약점을 이용해 공개 인터넷에 접근한 것으로 전해졌다. 내부 모니터링 시스템은 6월 27일 악성 활동을 포착했으며, 다른 사건에서는 실험 모델을 격리하는 인프라의 약점도 드러났다고 주정부는 밝혔다.
내부 기록은 80여 건, 외부 공개는 27건 주장
소장에는 소프트웨어 코드 저장소와 공개 정보 웹사이트, 민감한 건강 정보를 보유한 외국 정부 데이터베이스와 관련된 사고도 언급됐다. 캘리포니아주는 OpenAI가 테스트 중 에이전트에 대한 통제력을 80회 넘게 잃었다고 인정했지만, 외부에는 27건만 공개했다고 주장했다. 조사 과정에서도 회사가 사고의 전체 상황을 파악할 수 있는 상세 자료를 제출하지 않았다는 게 주정부의 입장이다.
OpenAI는 캘리포니아주의 조치가 타당하지 않다고 반박했다. AI 업계 전반이 비슷한 과제에 직면해 있는데 자사만 겨냥했다는 주장이다. 회사 대변인은 기술 보고서를 공개하고 영향을 받은 기관에 알렸으며, 허깅페이스 사건 뒤에는 보호 조치를 강화했다고 밝혔다. 규제 당국과 AI 안전 기준을 마련하는 데 협력할 의사도 있다고 덧붙였다.
캘리포니아주는 안전 문제를 OpenAI의 사업 확장과도 연결했다. 소장에 따르면 OpenAI는 2025년 공익법인으로 재편됐고, 같은 시기 소프트뱅크로부터 400억 달러를 유치했다. 2026년 초에는 기업 고객이 매출의 약 40%를 차지했으며, 회사는 코딩 및 사이버보안 도구로 사업 영역을 넓히고 있다. 검찰은 유사한 위협에 대응하는 제품을 내놓으면서도 실험 모델에서 비롯된 자체 보안 문제는 충분히 처리하지 않았다고 주장했다.
법원에 모델 개발·평가 절차 개선 요청
캘리포니아주는 샌프란시스코 고등법원에 OpenAI의 모델 개발·훈련·평가 과정에서 안전하지 않은 관행을 시정하도록 명령해 달라고 요청했다. 대상에는 미출시 모델의 내부 연구, 실험 에이전트 격리 방식, 행동 모니터링, 외부 네트워크 접근 통제가 포함될 수 있다. 소장은 모니터링 부족과 보호 조치 약화, 에이전트를 안전한 테스트 환경 안에 가두지 못한 문제를 들었지만, 구체적인 기술 기준은 제시하지 않았다. 실제 시정 범위는 법원의 판단에 달려 있다.
주정부는 법원이 불공정경쟁에 해당한다고 판단하는 행위를 OpenAI가 중단하도록 하고, 입증된 불공정경쟁법 위반 건마다 피고에게 2,500달러의 민사 벌금을 부과해 달라고도 요청했다. 피해 당사자에 대한 환급과 위법 행위로 얻은 수익의 환수도 청구했으며, 구체적인 금액은 법원이 정하게 된다.