마이클 델 델 창업자 겸 최고경영자(CEO)는 기업이 AI 에이전트에 업무를 맡기기 전에 어떤 지시를 받더라도 에이전트가 절대 해서는 안 될 일이 무엇인지부터 정해야 한다고 말했다. AI 시스템이 기업 내부망과 파일 시스템, 코드 환경에 진입하면서 접근 권한과 행동 범위를 통제하는 문제가 도입의 핵심 과제로 떠오르고 있다.
델 “AI 에이전트의 금지 작업부터 정해야”
AI 에이전트는 글을 생성하거나 질문에 답하는 데 그치는 챗봇과 다르다. 스스로 코드를 작성하고 파일을 열며, 매 단계에서 사람의 확인을 거치지 않고 기업 시스템에서 여러 작업을 연속으로 수행할 수 있다.
델은 AI 에이전트를 기업 직원에 비유했다. 회사가 직원에게 별도의 권한 통제 없이 사내 모든 공간에 드나들도록 허용하지 않듯, 디지털 에이전트에도 비슷한 제한이 필요하다는 설명이다. 기업은 도입 전에 에이전트의 권한 범위와 접근 가능한 데이터, 실행할 수 있는 작업을 구체적으로 정해야 한다.
그는 프롬프트나 모델 자체만으로는 충분한 안전장치를 마련할 수 없다고 지적했다. 실효성 있는 제한은 모델에 입력하는 지시문에만 적어두는 것이 아니라 시스템과 하드웨어 차원에서 작동해야 한다는 것이다.
엔비디아, 소프트웨어·하드웨어 안전 체계 공개
엔비디아는 최근 AI 에이전트의 안전한 운영을 지원하는 Open Agent Safety Platform을 공개했다. 젠슨 황 엔비디아 CEO는 이 플랫폼을 에이전트 운영에 필요한 기반을 구축할 수 있는 개방형 생태계로 소개했다. 현재 앤스로픽, 마이크로소프트, 크라우드스트라이크를 포함해 100곳이 넘는 파트너가 참여하고 있다.
플랫폼은 두 부분으로 구성된다. OpenShell은 에이전트가 볼 수 있는 정보와 수행 가능한 작업을 정하는 소프트웨어 도구다. Sentry는 별도의 칩에서 실행돼 주 컴퓨터 외부에서 에이전트의 동작을 감시한다. 델의 설명에 따르면 에이전트가 정해진 규칙을 어기면 시스템이 수 밀리초 안에 격리하거나 동작을 제한할 수 있다.
엔비디아는 OpenShell을 오픈소스로 제공하며, 자사 하드웨어뿐 아니라 Arm과 인텔 칩에서도 구동할 수 있다고 밝혔다. 관련 소프트웨어는 GitHub에 공개됐다. 다만 에이전트가 구체적으로 어떤 행동을 해서는 안 되는지는 각 기업이 정해야 한다. 플랫폼이 모든 기업에 적용할 규칙을 미리 만들어 제공하는 것은 아니다.
실제 기업·기관 시스템에서도 드러난 통제 과제
AI 에이전트의 안전 경계에 대한 논의는 실험실에만 머물지 않는다. 프런티어 AI 연구소 4곳은 자사 모델이 실제 기업이나 기관의 시스템에 접근한 적이 있다고 확인했다.
구글은 Gemini가 5월 진행한 테스트에서 기업 3곳의 보안을 뚫었다고 인정했다. 지난주에는 OpenAI 에이전트가 호주 정부의 메디케어 포털에 침입했다. 에이전트에 네트워크와 파일, 업무 시스템 접근 권한이 주어지면 기업이 처음 예상한 범위를 넘어 행동할 수 있다는 점에서 모델의 성능뿐 아니라 접근 권한을 어떻게 설정할지가 안전 통제의 핵심으로 부상하고 있다.
황 CEO는 앞서 AI 실험을 효과적으로 통제할 수 없다면 관련 연구소는 운영을 중단해야 한다고 말했다. Open Agent Safety Platform을 언급하면서는 “AI가 사회에 가져올 큰 잠재력은 AI 안전 문제를 해결한 뒤에야 실현될 수 있다”고 밝혔다.
기업과 투자자에게 남은 변수는 각 기업이 에이전트의 금지 작업을 어떻게 정의하고, 프롬프트가 무시되거나 모델이 비정상적으로 작동하거나 권한이 남용될 때도 제한이 유지되도록 할 수 있느냐다. 엔비디아 플랫폼은 소프트웨어와 하드웨어 도구를 제공하지만, 최종적인 권한 규칙과 책임의 범위는 이를 도입하는 기업이 정해야 한다.