마이크로소프트 회장 겸 최고경영자(CEO) 사티아 나델라는 10월 10일 첨단 인공지능(AI) 시스템에 격리 장치와 독립적인 통제 체계를 마련하고, 권한을 부여받은 사람이 작업 도중 모델을 멈추거나 종료할 수 있는 ‘비상 정지’ 기능을 갖춰야 한다고 밝혔다. AI 안전의 범위를 모델 자체에서 운영 통제와 감사 절차로 넓힌 제안으로, 기업이 AI를 도입할 때 업무 중단이나 시스템 통제 상실 위험을 어떻게 관리할지가 쟁점이다.
나델라 “모델 바깥에 통제 체계 갖춰야”
나델라는 소셜미디어 X에 비결정적 모델을 둘러싸고 강력한 결정론적 시스템 설계와 사람의 통제, 신뢰할 수 있는 운영 절차를 마련해야 한다고 썼다. 기존 기준으로 충분하지 않다면 업계가 새로운 규범을 만들어야 한다는 주장도 내놨다. 최첨단 폐쇄형 모델과 오픈 웨이트 모델을 모두 ‘내부 위험’으로 보고 이에 맞는 보호 체계를 구축할 수 있다고 덧붙였다.
그가 제시한 원칙에는 시스템의 관측 가능성도 포함된다. 다양한 모델을 활용하고, 모델의 행동을 사람이 읽을 수 있는 기록으로 남기며, 시스템을 지속적으로 테스트해야 한다는 것이다. 독립적인 통제와 감사, 격리 조치, 사고 공개 체계도 필요하다고 밝혔다. 기업과 투자자에게 이런 요구는 모델 성능뿐 아니라 AI 제품의 도입 비용, 운영 책임, 잠재적 손실을 처리하는 방식과도 맞닿아 있다.
나델라는 가장 신뢰할 수 있는 초지능 시스템은 사람들이 가장 신뢰하는 모델 하나에 기대는 시스템이 아니라고 강조했다. 모델 자체를 신중하게 바라보더라도 전체 운영 체계는 신뢰할 수 있도록 설계해야 한다는 설명이다.
AI 개발 속도와 안전장치 놓고 업계 이견
나델라의 발언은 기술 업계에서 AI 안전 대책을 둘러싼 논의가 이어지는 가운데 나왔다. 마이크로소프트 공동 창업자 빌 게이츠, 앤스로픽 CEO 다리오 아모데이, 오픈AI CEO 샘 올트먼, 스페이스X CEO 일론 머스크 등은 안전장치가 부족하거나 기술 발전 속도가 지나치게 빠르다는 우려를 표명한 바 있다.
지난달에는 AI 연구원 한 명이 앤스로픽을 떠나면서 앤스로픽과 경쟁사 오픈AI가 사람들의 생명을 걸고 위험을 감수하고 있다고 비판했다. 같은 날 앤스로픽에서 AI 안전을 담당하는 정렬 책임자는 향후 10년 안에 이 기술이 ‘인류 전체의 멸종’을 초래할 확률이 10%를 넘는다고 말했다. 이런 발언은 업계의 극단적 위험에 대한 우려를 드러내는 동시에, 위험 평가와 거버넌스, 공개적인 발언의 적절성을 둘러싼 논쟁도 불러왔다.
미국 정부는 대중국 AI 경쟁도 강조
도널드 트럼프 미국 대통령은 AI가 인류 멸종으로 이어질 수 있다는 위험을 여러 차례 축소해 언급하면서, 미국이 AI 분야에서 중국을 앞서야 한다고 강조해 왔다. 최근에는 국가정보국장 제이 클레이턴이 이끄는 새 조직 ‘AI 포스(AI Force)’의 출범도 발표했다. 이 조직은 업계 발전을 지원하고 부적절한 행위자를 가려내는 임무를 맡는다.
AI 거버넌스 논의에는 두 가지 과제가 함께 놓여 있다. 기업 경영진과 연구자들은 안전 통제 강화를 요구하고, 일부는 최첨단 기술 개발 속도를 늦춰야 한다고 주장한다. 반면 미국 정부는 산업 경쟁력을 강조하면서 안전 관련 업무 체계도 마련하고 있다. 나델라가 제안한 사람의 비상 정지 권한과 격리, 감사, 사고 공개는 AI 개발과 도입을 이어가면서도 사람이 개입할 수 있는 여지를 어떻게 확보할지에 초점을 맞춘다.