Независимая оценка материалов Anthropic и интервью с сотрудниками показала: темпы развития ИИ в компании могли приблизиться к внутреннему порогу предупреждения о слишком быстром прогрессе и, возможно, достичь его уже в июле. METR оценивает риск катастрофического вреда от ускорения как низкий, но считает, что публичные аргументы Anthropic о том, что порог не был пройден, опираются на спорные допущения и неполные данные. Выводы привлекли новое внимание к надзору за безопасностью ИИ в Anthropic накануне IPO.
Оценку в начале ноября опубликовала калифорнийская некоммерческая организация Model Evaluation and Threat Research (METR). В августовском документе по безопасности Anthropic заявляла, что по состоянию на 15 июля вероятность того, что ее модели преодолели установленный порог, была низкой. METR повторно изучила публичный отчет компании и часть предоставленных ею внутренних материалов о рисках.
METR оценивает темпы роста возможностей моделей в 1,9 раза выше исторических
Внутренний порог Anthropic соответствует удвоению способности моделей выполнять отдельные задачи в области исследований и разработок с меньшим участием человека. Этот ориентир призван обозначить темп, при котором достижения за период с 2018 по 2024 год укладываются в один год.
По оценке METR, с марта 2024-го по октябрь 2025 года возможности моделей Anthropic росли примерно в 1,9 раза быстрее исторического темпа. Расчет, который можно вывести из неопубликованного отчета компании о рисках, дает показатель в 1,97 раза. При других обоснованных способах измерения результат варьируется от 1,3 до 2,8 раза — это показывает, насколько оценка зависит от методики.
METR считает, что публичное утверждение Anthropic о непреодолении порога в 2 раза было сформулировано увереннее, чем позволяют имеющиеся данные. По мнению организации, порог мог быть достигнут к 15 июля. При этом часть сведений и данных Anthropic закрыла, что ограничило возможности внешнего анализа. На результаты также влияют методические решения — например, насколько точно определены оцениваемые задачи.
ИИ-инструменты помогают ускорять исследования
По расчетам METR, около 80% прироста Anthropic в октябре было связано с тем, что ИИ-системы помогали проводить исследования в области ИИ, а не с расширением вычислительных мощностей. Это указывает на то, что наряду с инвестициями в вычисления важным фактором ускорения разработки становится применение самих моделей в исследовательской работе.
Сотрудники Anthropic рассказывали, что внутренние модели компании повысили их производительность в 12 раз. METR также отмечает, что квартальный объем кода, создаваемого компанией, вырос примерно до восьмикратного уровня относительно среднего показателя за 2021–2025 годы. Эти данные иллюстрируют возможный эффект внутренних инструментов на эффективность исследований, однако связь между производительностью сотрудников и возможностями моделей зависит от способа измерения обоих показателей.
METR не выявила явных узких мест или заметного снижения отдачи, что допускает дальнейшее ускорение роста возможностей в течение следующих 12 месяцев. Вместе с тем организация признает, что из-за ограниченного доступа могла не учесть факторы, сдерживающие темпы исследований. Оценка не является окончательным прогнозом.
Перед IPO вновь обсуждают безопасность и скорость разработки
Генеральный директор Anthropic Дарио Амодеи неоднократно призывал замедлить технологическое развитие. В сентябре он предупреждал о серьезных рисках, связанных с ИИ, и отмечал, что возможности систем могут расти быстрее, чем совершенствуются меры безопасности. Глава OpenAI Сэм Альтман и другие представители отрасли также обсуждали вероятность того, что будущие системы ИИ смогут автономно развиваться за пределами человеческого контроля.
По оценке METR, повышение эффективности исследований может ослабить опасения отрасли по поводу растущего спроса на вычислительные ресурсы и увеличения операционных и разработческих затрат. Однако ускорение роста возможностей моделей вновь ставит вопрос о том, успевают ли за ним меры безопасности. METR сотрудничала с Anthropic, OpenAI и другими ИИ-лабораториями в оценках и исследованиях, а также участвовала в независимом тестировании ИИ-систем.
Anthropic должна установить цену IPO в среду, а торги ее акциями начать в четверг. По сообщениям, компания рассчитывает на оценку до 1,4 трлн долларов и намерена разместиться на Nasdaq Global Select Market под тикером ANT. На фоне неполноты доступных данных и разногласий по методике расхождение между публичной оценкой Anthropic и анализом METR остается предметом внимания инвесторов, оценивающих систему контроля безопасности компании перед размещением.