Председатель совета директоров и CEO Microsoft Сатья Наделла 10 октября заявил, что передовые системы искусственного интеллекта должны иметь механизмы изоляции, независимые средства контроля и «аварийный тормоз». Он должен позволять уполномоченным сотрудникам поставить модель на паузу или отключить ее во время работы. Предложение переносит акцент в дискуссии о безопасности ИИ с одной лишь архитектуры моделей на операционные процедуры и аудит — вопросы, которые напрямую связаны с управлением сбоями и риском непредсказуемого поведения систем.
Наделла предложил усилить контроль над недетерминированными моделями
В публикации в X Наделла отметил, что недетерминированные модели необходимо окружать надежной детерминированной инфраструктурой, человеческим надзором и проверенными операционными процедурами. Если действующие стандарты не покрывают эти риски, отрасли следует разработать новые, считает он. При подготовке защитных механизмов Наделла также предложил рассматривать передовые закрытые модели и модели с открытыми весами как потенциальный «внутренний риск».
Среди предложенных принципов — возможность наблюдать за работой системы, использование нескольких разнородных моделей и ведение понятных человеку записей о действиях модели. Наделла также выступил за постоянное тестирование, независимые средства контроля и аудит, изоляцию систем и заранее подготовленные планы раскрытия информации об инцидентах. Для компаний и инвесторов это означает дополнительные вопросы к стоимости внедрения, операционной ответственности и порядку покрытия возможных убытков, а не только к производительности моделей.
«Наиболее надежными системами сверхинтеллекта будут не те, которые зависят от одной модели, которой доверяют больше всего», — написал Наделла. По его мнению, доверие должно распространяться на систему в целом, при этом осторожное отношение к самой модели должно сохраняться.
Руководители технологических компаний спорят о темпах и защите
Заявления Наделлы прозвучали на фоне продолжающихся разногласий в технологической отрасли по поводу безопасности ИИ. Сооснователь Microsoft Билл Гейтс, CEO Anthropic Дарио Амодеи, CEO OpenAI Сэм Альтман и CEO SpaceX Илон Маск ранее говорили о недостаточности защитных механизмов или о слишком высокой скорости технологического развития.
В прошлом месяце один из исследователей ИИ покинул Anthropic и обвинил компанию и конкурирующую OpenAI в том, что они подвергают жизни людей неоправданному риску. В тот же день руководитель направления alignment в Anthropic, занимающийся безопасностью ИИ, заявил, что вероятность того, что технология приведет к «вымиранию человечества» в течение следующего десятилетия, превышает 10%. Эти высказывания отражают обеспокоенность отрасли экстремальными рисками, но одновременно усиливают внимание к методикам оценки рисков, корпоративному управлению и публичным заявлениям компаний.
Вашингтон делает акцент на конкуренции с Китаем
Президент США Дональд Трамп неоднократно преуменьшивал вероятность того, что ИИ может привести к вымиранию человечества. Вместо этого он подчеркивал необходимость сохранить лидерство США над Китаем в этой сфере. Недавно Трамп объявил о создании новой структуры «AI Force» под руководством директора Национальной разведки Джея Клейтона. В ее задачи входят содействие развитию отрасли и выявление недобросовестных участников.
Таким образом, дискуссия развивается по двум направлениям. Руководители компаний и исследователи призывают укреплять контроль за безопасностью, а некоторые из них — замедлить разработку передовых систем. Американское правительство одновременно делает ставку на конкурентоспособность и создает инициативу, связанную с безопасностью. Предложения Наделлы об участии человека, изоляции систем, аудите и раскрытии информации об инцидентах отвечают на практический вопрос: как сохранить возможность вмешательства людей по мере дальнейшей разработки и внедрения ИИ.