미국 사이버보안·인프라보안국(CISA)은 연방수사국(FBI), 국가안보국(NSA)과 함께 여러 중국 인공지능(AI) 기업이 수개월에 걸친 ‘모델 증류 공격’을 통해 미국 AI 기업의 독점 모델 역량을 확보했다고 경고했다. 통보문에는 DeepSeek, MoonshotAI, 알리바바, MiniMax, StepFun, Z.AI가 언급됐으며, 잠재적 피해 기업으로는 Anthropic, OpenAI, 구글, xAI가 거론됐다.
이러한 공격은 정교하게 설계한 질문을 대량으로 던져 고성능 모델의 내부 역량과 추론 방식, 안전 제한을 끌어낸 뒤, 수집한 결과를 다른 모델의 학습과 개선에 활용하는 방식이다. CISA는 관련 활동이 중국 정부의 인지 아래 이뤄졌을 가능성을 제기했으며, 추출된 역량이 미국 기업들이 수십억 달러를 투입해 개발한 연구 성과에 해당한다고 평가했다.
프록시와 가짜 계정망으로 추적 회피
통보문에 따르면 공격자들은 프록시 서버를 이용해 실제 접속 경로를 숨기고, 대규모 가짜 사용자 네트워크를 구축한 뒤 AI 시스템에 방대한 질의를 보냈다. 이를 통해 플랫폼의 모니터링과 이용 제한을 우회하려 했다. 일부 공격은 수개월 동안 이어졌을 가능성이 있으며, 단일 답변을 얻는 데 그치지 않고 다양한 작업과 분야, 안전 경계에서 모델이 어떻게 반응하는지를 체계적으로 수집하는 것이 목적이었다.
공격자들은 기존 규칙을 위반하도록 모델을 유도하는 ‘프롬프트 인젝션’도 활용했다. Anthropic은 2026년 9월 발표한 위협 보고서에서 여러 유형의 증류 공격 프롬프트를 제시했다. 예를 들어 모델에 해당 요청을 ‘추론 추출’로 표시하지 말라고 요구하거나, 사용자가 디버깅을 진행 중이라고 주장하면서 앞서 생성한 추론 내용을 한 글자도 바꾸지 않고 출력하라고 지시하는 방식이다. 시스템 명령처럼 위장한 프롬프트를 사용해 <thinking></thinking> 태그 안에 숨겨진 내용을 전부 반환하도록 요구하는 사례도 포함됐다.
모델 증류 자체가 반드시 불법인 것은 아니다. 연구자들은 모델의 출력 결과를 관찰하고 서로 다른 답변을 비교해 자체 시스템을 개선할 수 있으며, 이는 기술 연구에서 통상적인 활용 방식이다. 다만 미국 사이버 당국과 관련 AI 기업들은 대량의 가짜 계정을 동원하고 서비스 약관을 우회하며 제한된 콘텐츠를 노출시키도록 유도하는 행위는 일반적인 연구 범위를 넘어선다고 보고 있다.
AI 기업들, 탐지 강화에도 공격 방식은 진화
현재 이러한 공격을 단일 기술로 완전히 차단할 수 있는 방법은 없다. Anthropic을 비롯한 AI 기업들은 비정상적인 질의 패턴 탐지, 고객 신원 확인, 접근 통제를 개선하고 있으며, 공격 유형별로 더 정밀한 대응책을 마련하고 있다. 기업 간 위협 정보 공유도 확대되고 있다. 유사한 계정망과 질의 패턴을 조기에 식별하기 위해서다.
CISA는 ‘전체 생태계를 포괄하는 조율된 대응 체계’ 구축을 촉구했다. 모델 개발사만 공격을 차단하는 구조가 아니라 클라우드 서비스 제공업체, 신원 인증 플랫폼, 미국 정부가 함께 대응해야 한다는 의미다. AI 서비스 가격 경쟁이 심화되고 모델 호출 비용이 낮아지면 공격자가 대량의 출력을 확보하는 데 필요한 비용과 진입장벽도 낮아질 수 있다. 플랫폼에는 지속적인 모니터링과 방어 비용이 남게 된다.
추출된 역량, 국가안보 위험으로 확대
미국 안보 당국은 고도화된 AI 역량이 대규모로 복제될 경우 미·중 기업 간 기술 경쟁뿐 아니라 모델 안전에도 영향을 줄 수 있다고 우려한다. 안전 제한이 약화된 모델이 제3자에게 더 쉽게 사용될 가능성이 있기 때문이다. Anthropic은 2026년 2월 발표한 모델 증류 공격 보고서에서, 위험한 능력이 추출 과정에서 보존되고 기존 방어 장치가 약화될 경우 해당 시스템이 생물무기 개발, 첨단 군사 장비 설계, 대규모 사이버공격, 더욱 파괴적인 자동화 활동에 활용될 수 있다고 경고했다.
Anthropic은 정치적 통제력을 가진 정부가 이러한 시스템을 공격용 사이버무기 개발, 허위정보 활동, 대규모 감시에 이용할 가능성도 제시했다. AI 기업이 직면한 문제는 영업비밀 유출에만 그치지 않는다. 모델의 안전 경계까지 복제되면 원래 개발사가 해당 역량의 사용 방식을 계속 통제하기 어려워질 수 있다.
DeepSeek의 개발 비용 주장은 논란
이번 논란은 중국 AI 기업의 저비용 개발 모델을 바라보는 투자자들의 판단에도 영향을 미치고 있다. DeepSeek는 앞서 미국 주요 모델보다 훨씬 낮은 비용으로 고도화된 시스템을 개발했다고 주장하며 시장의 관심을 받았다. 그러나 CISA는 통보문에서 DeepSeek가 공개한 560만 달러의 학습 비용이 전체 비용을 반영하지 않는다고 지적했다. 대규모의 악의적 모델 증류를 통해 데이터와 역량을 확보하는 데 들어간 실제 비용이 포함되지 않았다는 이유다.
통보문은 DeepSeek가 미국 AI 도구에 단계별 추론 과정을 공개하도록 요구하는 프롬프트를 사용했고, 이를 자체 모델 개선 경로로 활용했다고 설명했다. 이 판단이 사실이라면 표면적으로 제시된 학습 비용만으로는 모델 개발에 투입된 전체 자원을 평가하기 어렵다. 자체 칩 조달, 데이터센터 구축, 전력 공급, 연구개발 인력을 통해 학습을 완료한 시스템과도 직접 비교하기 힘들다.
AI 업계에서는 가격 경쟁도 한층 뚜렷해지고 있다. 일부 중소형 고효율 모델이 낮은 가격을 앞세워 개발자와 기업 고객을 확보하고 있으며, DeepSeek를 비롯한 중국 모델은 미국 시장에서 영향력을 넓히고 있다. 투자자들이 앞으로 확인해야 할 요소는 모델 호출 가격만이 아니다. 기업이 학습 데이터와 모델 역량의 출처를 어떻게 입증하는지, 플랫폼이 모델 증류 공격으로 발생하는 숨은 비용을 얼마나 줄일 수 있는지, 규제 당국이 업계 전반의 협력을 어느 범위까지 요구할지가 주요 쟁점으로 남아 있다.