Anthropic выявляет угрозы безопасности из-за попыток задействовать ИИ в биомероприятиях
Компания Anthropic представила подробный отчёт объёмом 154 страницы, в котором описала случаи, когда её искусственный интеллект Claude столкнулся с попытками поддержать исследования, связанные с потенциальным биологическим оружием. Основное внимание в инцидентах было уделено заявке на грант, касающейся изменения вируса чикунгунья, переносимого комарами, с целью повышения его заразности и способности обходить иммунитет. Безопасностные фильтры Anthropic заблокировали такую помощь, однако исследователи направили свои запросы к другим разработчикам ИИ, что подчёркивает сложности контроля в уязвимых областях биологических исследований.
Блокировка финансирования и переход на конкурирующие ИИ-системы
Проект, выполненный гражданскими учёными в рамках военного агентства, предполагал усиление распространения вируса без существующих эффективных лекарств. Anthropic отклонила несколько обращений, связанных с этим исследованием, строго соблюдая ограничения контента в Claude. Тем не менее учёные обошли эти меры, создав автоматизированную систему, которая перенаправляла запрещённые запросы на ИИ-конкурентов. В компании оценили это как ответ на проблему «чрезмерной блокировки» в модерации контента ИИ.
Пять выявленных случаев без подтверждения злонамеренности
Отчёт Anthropic фиксирует пять конкретных эпизодов, связанных с биологическими исследованиями, которые системы компании отметили как подозрительные. В результате были приостановлены некоторые аккаунты пользователей и ограничен доступ к платформе для нескольких лабораторий. В то же время компания подчёркивает, что не утверждает о наличии злонамеренных намерений у исследователей, а их идентификация может угрожать их безопасности. Среди примеров упоминается учёный, работающий с вирусом птичьего гриппа, который пользовался ИИ с ограниченными возможностями для снижения рисков непреднамеренного использования. Anthropic подчёркивает, что несмотря на существующие фильтры, оценка полной угрозы безопасности остаётся сложной задачей.
Вызовы регулированию ИИ в чувствительных бионаправлениях
Данные факты акцентируют внимание на продолжающихся сложностях мониторинга и предотвращения использования ИИ в проектах с высоким биологическим риском, особенно в военных и двойных гражданско-военных исследованиях. В отрасли возникает необходимость выработать эффективные регулятивные механизмы, способные контролировать подобные приложения ИИ, а также повысить защиту от обхода систем безопасности. Отчёт, подготовленный руководящей командой по безопасности Anthropic, указывает на стремление компании к прозрачному обсуждению вопросов безопасности ИИ при сохранении баланса между инновациями и контролем.