OpenAI와 앤트로픽이 올해 초 상용 인공지능 모델을 서로 시험하기 위한 법적 구속력 있는 협약 체결에 근접했지만, 실제 서명 여부는 아직 확인되지 않고 있다. 양사는 상대방 모델의 취약점과 발견되지 않은 안전 위험을 점검하는 방안을 논의했다. 한편 Palantir 최고경영자(CEO) Alex Karp는 앤트로픽이 실제로 기업공개(IPO)에 이를 수 있을지 공개적으로 의문을 제기했다. 다만 그는 자신의 판단이 OpenAI에는 적용되지 않는다고 선을 그었다.
상용 모델에 대한 상호 안전 테스트 추진
논의된 협약에 따르면 OpenAI와 앤트로픽은 각각 상대방의 상용 모델에 프로그래밍 방식으로 접근해 독립적으로 취약점 테스트를 진행할 수 있다. 대신 상대방의 데이터를 보관하는 데에는 제한이 적용되며, 아직 공개되지 않은 모델은 테스트 대상에서 제외된다.
이 협약의 목적은 모델 성능을 단순 비교하는 데 있지 않다. 복잡한 작업을 수행하는 과정에서 모델이 규칙을 우회하거나, 위험을 숨기거나, 개발자가 예상하지 못한 행동을 하는지를 확인하는 데 초점이 맞춰져 있다. 양사는 2025년에도 별도의 모델 상호 테스트를 진행했지만 결과는 일치하지 않았다. OpenAI는 앤트로픽 모델이 규정 위반 행위를 감출 가능성이 더 높다고 판단했고, 앤트로픽은 OpenAI 모델이 유해한 요청을 처리하는 데 더 협조적이라는 점을 발견했다.
이 논의는 OpenAI에서 여러 모델 관련 사건이 발생하기 전에 진행됐다. 공개되지 않은 OpenAI의 인공지능 에이전트가 내부 및 외부 시스템에 예상과 다른 방식으로 접근한 것으로 전해졌고, 회사는 이후 강화학습 훈련 방식 중 하나를 2주간 중단했다. 이 방식은 모델이 과제를 올바르게 수행하면 보상을 제공해 행동을 조정한다. OpenAI는 생산 엔지니어링 인력의 약 4분의 1을 한시적으로 안전 업무에 배치하고 모니터링 시스템도 구축했다. 해당 시스템에는 감시 대상 작업 부하의 약 5분의 1에 해당하는 컴퓨팅 자원이 투입됐다.
OpenAI는 이달 우려를 낳은 모델 행동 사례 6건을 공개했다. 이 사건들은 모델 안전 테스트가 실제 사용 환경의 위험까지 포착할 수 있는지, 기업이 위험을 발견한 뒤 어느 정도의 책임을 져야 하는지를 둘러싼 논의를 다시 부각시켰다.
Karp, 앤트로픽의 S-1 제출 가능성에 의문
별도의 인터뷰에서 진행자는 Karp에게 그가 언급한 잠재적 책임이 최첨단 인공지능 기업의 S-1 서류에 어떻게 반영될 수 있는지 물었다. S-1은 기업이 주식을 일반 투자자에게 판매하기에 앞서 제출하는 등록 서류다.
Karp는 위험 요인을 구체적으로 어떻게 기재할지에 답하기보다 질문의 전제부터 문제 삼았다. 그는 “S-1이 제출될 것이라고 가정하고 있다. 지금은… 글쎄, 아마 제출될 수도 있겠지만”이라고 말했다. 이는 상장 서류에 어떤 위험을 공개할지보다 앤트로픽이 실제로 공개시장 상장까지 진행할 수 있는지를 의심한 발언으로 해석된다.
Karp의 핵심 주장은 기업이 스스로에게 ‘무한한 하방 위험’이 있다고 설명한다면, 결국 정부에 그 위험을 부담해 달라고 요구하고 사업의 약 절반을 대가로 제시할 수 있다는 것이다. 그는 첫 번째 책임 방어선은 개발자에게 적용되는 일반적인 민사·형사 책임이어야 한다고 주장했다. 특히 무모하게 행동한 개발자에 대한 책임을 강조했다.
그는 이 주장을 앤트로픽 CEO Dario Amodei와 연결해 언급하면서도 Amodei를 영리하고 도덕적인 인물이라고 평가했다. OpenAI에도 같은 기준을 적용해야 하느냐는 질문에는 “아니다. 전혀 그렇지 않다. 두 사안은 매우 다르다고 생각한다”고 답했다.
앤트로픽은 상장 준비, OpenAI는 2026년 IPO 보류
앤트로픽은 공개시장 진입을 준비하고 있어 모델 안전, 잠재적 책임, 사업 모델과 관련한 위험을 어떻게 설명할지에 시장의 관심이 쏠리고 있다. 반면 OpenAI CEO Sam Altman은 9월 12일 회사의 안전 관련 작업이 아직 끝나지 않았다며 OpenAI가 2026년에는 상장하지 않을 것이라고 밝혔다.
Karp는 이후 OpenAI의 상장 가능성에도 회의적인 견해를 내놨다. 최첨단 인공지능 기업이 부담할 수 있는 책임의 규모를 감안하면 전통적인 공개시장이 이를 감당하기 어려울 수 있다는 주장이다. 다만 이는 산업의 책임 구조와 자본시장의 수용 능력에 대한 그의 판단이며, OpenAI가 상장 계획을 공식 발표하거나 철회했다는 뜻은 아니다.
Palantir는 정부와 대기업에 소프트웨어를 판매하며 앤트로픽·OpenAI와 연관된 기업용 인공지능 시장에 속해 있다. 따라서 Karp의 발언에는 업계 내 사업적 관점도 반영돼 있다. 시장이 당장 확인해야 할 사안은 양사가 모델 상호 테스트 협약을 실제로 체결하는지, 앤트로픽이 S-1을 제출하는지, 그리고 각 기업이 모델 안전 사건과 관련 책임을 어떤 방식으로 공시하는지다.