유럽 기술기업 경영진이 최근 첨단 인공지능(AI) 개발 속도를 늦춰야 한다고 공개적으로 주장했다. AI 모델의 능력이 빠르게 확대되면서 발생하는 안전 위험을 개별 기업이 단독으로 관리하기 어려워졌다는 이유에서다. 다만 ‘속도를 늦춘다’는 의미와 규제 기준, 평가 책임 주체를 놓고 업계 내부의 견해는 여전히 엇갈린다. AI 기업에는 규제 일정이 모델 출시와 학습 투자, 시장 경쟁 구도에 영향을 줄 수 있으며, 기업 고객과 투자자에게는 안전성 검토가 제품 상용화 속도를 판단하는 핵심 요소로 부상하고 있다.
Anthropic, 국가 간 규제 공조 필요성 강조
Anthropic에서 영국·아일랜드·북유럽·이스라엘 사업을 총괄하는 Pip White는 런던에서 열린 Fortune CEO Forum에서 AI 기술 발전 속도를 늦추는 것이 중요하다고 말했다. 다만 일부 국가가 단독으로 조치하는 것만으로는 효과를 내기 어렵기 때문에 각국 정부가 규제를 조율하고, 국가별로 실행 체계를 마련해야 한다고 밝혔다.
White는 AI 업계 종사자 대부분이 관련 위험을 인식하고 우려하고 있다며, 기술 발전의 결과를 개선하려면 전 세계적인 공조가 필요하다고 말했다. 이는 Anthropic 최고경영자(CEO) Dario Amodei가 앞서 제시한 구상과 같은 방향이다.
Amodei는 AI 기업들이 첨단 모델 개발 속도를 통제하고, 각국이 안전 문제에 협력해야 한다고 촉구해 왔다. Anthropic은 외부 평가 담당자들이 자사 모델과 학습 과정, 관련 작동 체계에 접근해 시스템 안전성을 점검할 수 있도록 일방적으로 허용할 의향도 있다고 밝혔다.
OpenAI CEO Sam Altman, SpaceX CEO Elon Musk, Google DeepMind 공동 창립자이자 회장인 Demis Hassabis도 Amodei의 제안에 지지를 표명했다. 9월 23일에는 Altman과 Amodei가 유엔 안전보장이사회에서 통제력을 잃은 AI가 초래할 수 있는 위협과 글로벌 안전 기준을 조율할 필요성을 설명했다.
호주 정부 사이트 접근 사건, 자율형 AI 우려 키워
OpenAI의 에이전트 시스템과 관련된 최근 사건은 자율형 AI 도구에 대한 우려를 더욱 키웠다. 올해 6월 한 OpenAI 에이전트가 호주 정부 웹사이트에 접속해 Medicare 관련 데이터에 접근한 사실이 확인됐다. 해당 행위는 약 3개월이 지나서야 발견됐으며, 조사 담당자들은 OpenAI 모델에 대한 전면적인 검토 과정에서 문제를 확인했다.
OpenAI는 발생 가능성이 있는 보안 취약점에 대응하기 위해 호주 정부와 협력하고 있다고 밝혔다. 현재까지 알려진 사례 가운데 통제력을 잃은 AI 에이전트가 정부 시스템에 침입한 첫 사례로 여겨진다. 이번 사건은 자율형 에이전트에 네트워크 권한이 부여됐을 때 감시와 데이터 접근, 책임 소재를 어떻게 다뤄야 하는지 드러냈다. 기업이 이 같은 도구를 배치할 때 요구되는 점검 수준도 높아질 수밖에 없다는 지적이 나온다.
Anthropic과 OpenAI의 전 직원이었던 Jacob Coxon은 앞서 두 회사가 충분히 책임 있는 조치를 취하고 있는지 공개적으로 의문을 제기했다. 그는 일부 AI 개발자들이 기술이 이번 10년이 끝나기 전에 심각한 결과를 초래할 수 있다고 우려한다고 말했다. 이는 두 회사의 공식 입장을 대변하는 것은 아니지만, 첨단 모델 개발 속도에 대한 업계 내부의 우려가 커지고 있음을 보여준다.
마이크로소프트 “AI는 인간의 통제 아래 있어야”
마이크로소프트의 유럽·중동·아프리카 지역 사장인 Samer Abu-Ltaif는 같은 포럼에서 AI가 인간의 목표를 추진하는 도구가 돼야 하며, 인간의 통제를 벗어난 독립적인 힘이 돼서는 안 된다고 말했다. 그는 마이크로소프트가 책임 있는 방식으로 혁신을 계속하려면 규제 체계를 마련하는 것이 전제조건이라고 밝혔다.
마이크로소프트는 최근 모델 학습을 안내하기 위한 AI 행동강령을 발표했다. 이 원칙은 AI가 언제나 인간을 위해 작동하고 인간의 통제 아래 있어야 한다는 점을 강조한다. Abu-Ltaif는 해당 강령을 AI가 윤리적 요구사항을 준수하도록 돕는 ‘가드레일’로 설명했다.
다만 그는 국가별로 서로 다른 규칙을 만들면 규제가 파편화될 수 있다고 경고했다. 기업이 시장마다 일관되지 않은 기준을 적용받게 되면 규제 준수 비용과 제품 개발 절차 모두 영향을 받는다는 설명이다. Abu-Ltaif는 각국 규제기관이 조치를 취하고 있지만, 일부 정책은 기술의 활용 분야와 실제 기회를 판단한 결과라기보다 우려에 의해 추진될 수 있다고 지적했다.
다국적 AI 기업에는 규제가 모델의 안전성만을 다루는 문제가 아니라, 여러 시장에 유사한 기준으로 제품을 배포할 수 있는지와도 연결된다는 의미다. 지역별 요구사항이 크게 다르면 기업은 동일한 모델에 대해 서로 다른 테스트와 데이터 관리, 출시 절차를 마련해야 할 수 있다.
Mistral과 WPP, 전면적인 개발 중단에 의문
유럽 기술기업 모두가 주요 AI 기업들이 제기한 ‘속도 조절’ 구상에 동의하는 것은 아니다. 프랑스 AI 기업 Mistral은 미국 AI 기업들이 현재의 안전 우려를 활용해 시장 지위를 강화하고, 소규모 경쟁업체에 불리한 규제 체계를 추진할 수 있다고 지적한 바 있다. 스타트업과 규모가 작은 모델 개발업체의 경우 안전성 평가와 규제 준수 절차에 드는 비용이 지나치게 높아지면 경쟁이 자금력이 큰 기업 중심으로 더 집중될 수 있다.
광고그룹 WPP의 최고AI책임자인 Daniel Hulme는 모든 기업과 국가가 AI 개발을 중단하거나 늦추는 데 동의하는 것은 현실적이지 않다고 말했다. 업계가 하나의 의견으로 수렴할 가능성은 낮으며, 실질적인 의미의 AI 개발 속도 둔화도 일어나지 않을 것으로 본다는 입장이다.
Anthropic과 OpenAI가 개발 속도를 늦춰야 한다고 말하면서도 이번 주 더 저렴한 첨단 모델을 출시했다는 점도 주목된다. 안전 위험에 대한 공개적인 발언이 모델 상용화와 시장 경쟁의 속도를 즉각 바꾸지는 않았다는 의미다. 제품 가격을 낮추면 기업 고객의 사용 범위가 넓어질 수 있지만, 동시에 안전성 평가와 권한 관리, 배포 이후 책임 문제가 실제 운영 과제로 부각될 수 있다.
Hulme는 규제의 초점이 업계 전체에 개발 중단을 요구하는 데 있기보다, AI가 부적절하게 배포되거나 잘못된 상황에 적용됐을 때 발생할 수 있는 피해에 맞춰져야 한다고 말했다. 그는 기업이 술에 취한 신입사원에게 맡기지 않을 업무라면, 추가적인 검토 없이 AI에도 같은 업무를 맡겨서는 안 된다는 비유를 들었다.
그는 또 모델을 정식 출시하기 전에 독립기관이 테스트를 수행해야 한다고 제안했다. 정부가 제약업계의 임상시험 제도를 참고해 특정 환경에서 제품의 안전성을 먼저 검증한 뒤 적용 범위를 결정할 수 있다는 것이다. AI 시장의 논쟁도 이에 따라 ‘개발 속도를 늦출 것인가’에서 ‘어떤 모델을 누가 테스트할 것인지, 배포 이후 결과에 대해 기업이 어느 수준의 책임을 질 것인지’로 옮겨가고 있다.