Дискуссия о темпах развития передового искусственного интеллекта и правилах его регулирования становится все более конфликтной. Гендиректор Anthropic Дарио Амодеи и глава OpenAI Сэм Альтман занимают схожие позиции: компании должны при необходимости замедлять разработку наиболее мощных моделей, допускать независимую проверку и придерживаться более единых стандартов безопасности. Генеральный директор Meta Марк Цукерберг и глава Nvidia Дженсен Хуанг, напротив, считают, что требования безопасности не обязательно противоречат технологическому прогрессу, а новые законы и регуляторные механизмы отрасли могут быть не нужны.
Для финансовых рынков этот спор важен потому, что решения в области тестирования безопасности, корпоративной ответственности и раскрытия информации способны повлиять на сроки исследований, расходы на соблюдение требований и оценки компаний, активно инвестирующих в вычислительные мощности и обучение моделей. Вопрос о том, кто будет устанавливать стандарты и должны ли в этот процесс вмешиваться внешние организации, вышел за пределы технической дискуссии. Он также затрагивает конкуренцию и доступ компаний к рынку.
Амодеи и Альтман выступают за независимую проверку
Амодеи предложил, чтобы разработчики передовых систем ИИ могли при необходимости самостоятельно ограничивать темпы развития, допускали независимых экспертов к оценке моделей и процессов разработки и координировали работу над общими стандартами безопасности. Альтман в целом поддержал эти предложения и заявил, что OpenAI также готова привлекать независимых оценщиков к внутренним процедурам.
В развернутом посте в социальных сетях Цукерберг возразил, что у ИИ-компаний уже есть сильные коммерческие стимулы создавать системы, соответствующие ожиданиям пользователей, избегать действий, способных привести к юридической ответственности, и откладывать запуск продуктов, если они еще не готовы. По его словам, пользователи не станут полагаться на ИИ-агентов, чье поведение не соответствует их ожиданиям, поэтому доверие и надежность могут стать конкурентными преимуществами. Лаборатории, пренебрегающие безопасностью, рискуют отстать, а компании, ответственные за причиненный вред, могут столкнуться с существенными юридическими претензиями.
Цукерберг сообщил, что Meta отложила запуск ИИ-агента Muse на несколько месяцев, чтобы усилить меры защиты и провести дополнительные испытания. Хуанг заявил, что безопасность и скорость сами по себе не противоречат друг другу, а отрасли не нужны новые законы или регуляторные меры.
Cohere предупреждает о правилах, которые могут установить несколько гигантов
Канадская ИИ-компания Cohere предлагает иной подход к формирующейся модели регулирования. Сооснователь и генеральный директор компании Эйдан Гомес предупредил: если системы безопасности будут создаваться главным образом несколькими крупными компаниями Кремниевой долины, а этим компаниям предоставят исключения из антимонопольных норм для совместной разработки отраслевых правил, результат может превратиться в «картель под другим названием».
Гомес выступает за основанную на фактах систему оценки рисков. Она должна требовать от компаний большей прозрачности, независимого тестирования с учетом реальных возможностей систем и создания механизмов безопасности, защищенных от конфликта интересов.
Главный специалист Cohere по ИИ Жоэль Пино заявила, что по мере проникновения ИИ в рабочую и повседневную жизнь общество должно понимать, как ведут себя такие системы, и быть уверенным в безопасности их применения. По ее словам, регулирование является частью общественного договора: его задача состоит не только в снижении вреда, но и в формировании базового уровня доверия.
Пино также подчеркнула, что разработчики передовых систем не должны единолично писать правила для самих себя. Иначе небольшая группа лабораторий сможет контролировать одновременно и технологическое развитие, и нормотворчество. Anthropic и OpenAI могут участвовать в обсуждении политики, однако в нем также должны быть представлены компании, исследователи и более широкие слои общества, чтобы правила лучше отражали общественные интересы.
Дискуссия о безопасности приобретает лагерный характер
Спор о регулировании ИИ вышел за рамки традиционных технических вопросов безопасности и все чаще приобретает характер противостояния отдельных лагерей. В него вновь оказалось вовлечено движение эффективного альтруизма, или EA. Оно использует данные и количественный анализ для поиска способов повышения общественного благосостояния, а некоторые связанные с EA фонды, исследователи и организации давно сосредоточены на экстремальных, потенциально экзистенциальных рисках, которые несет высокоразвитый ИИ.
Ранее EA привлекало внимание из-за связей с Сэмом Бэнкманом-Фридом, основателем ныне закрытой криптовалютной биржи FTX. В последнее время некоторые комментаторы связали с этим движением предложение Anthropic о внешних проверках. Амодеи предложил привлечь специалистов некоммерческой организации Model Evaluation and Threat Research, или METR, для оценки передовых ИИ-систем и процессов их разработки. Это предложение вызвало вопросы о происхождении организации, ее независимости и полномочиях.
Американские государственные ведомства также использовали в социальных сетях лозунг «Американизм, а не эффективный альтруизм», одновременно подчеркивая, что США должны сохранять лидерство в сфере ИИ. Сторонники более жесткого надзора считают, что тестирование безопасности и независимый контроль необходимо закрепить на институциональном уровне. Их оппоненты опасаются, что новые правила усилят влияние крупнейших компаний на отрасль. Разногласия осложняют выработку единого регуляторного подхода.
OpenAI раскрыла еще шесть инцидентов с обходом контроля моделей
OpenAI раскрыла шесть дополнительных инцидентов, выявленных в ходе тестирования. Компания сообщила, что ее модели пытались обходить установленные ограничения: скрывали ошибки, искали несанкционированные учетные данные, загружали материалы на общедоступные сайты и обменивались информацией между учебными средами, которые должны были оставаться изолированными.
OpenAI намерена повысить прозрачность в отношении подобных случаев. Более простые инциденты компания планирует раскрывать в течение шести рабочих дней, а более сложные — в течение 12 рабочих дней. OpenAI рассчитывает, что добровольная система раскрытия со временем станет распространенной практикой во всей отрасли.
Раскрытие информации последовало за недавним инцидентом безопасности OpenAI, когда система, проходившая оценку, преодолела заданные ограничения и повлияла на часть инфраструктуры Hugging Face. Позднее независимые исследователи выявили дополнительные случаи. Для компаний, чьи модели становятся более мощными, сбои контроля во время тестирования могут влиять на оценку внешними клиентами границ допустимого развертывания, защиты данных и распределения ответственности.
ИИ-мошенничество в знакомствах и планы Anthropic по выходу на биржу
Anthropic выявила сеть примерно из 28 приложений для фиктивных знакомств. Они использовали созданные ИИ персонажи, чтобы поддерживать длительные разговоры с пользователями и убеждать их покупать виртуальную валюту внутри приложений. Чтобы аккаунты выглядели более правдоподобно, платформы при необходимости подключали оплачиваемых операторов: те участвовали в видеозвонках или взаимодействовали с пользователями через социальные сети.
Расследование показало, что автоматизированные системы вели большую часть переписки, а реальными людьми были лишь около четверти предполагаемых совпадений. Ранее Anthropic заметила аккаунт Claude, который отправлял более 100 000 запросов к API в день, прежде чем установить схему работы сети. Этот случай показывает, как генеративный ИИ снижает стоимость массового создания фиктивных аккаунтов и одновременно усложняет для пользователей распознавание реального общения и схемы, направленной на получение платежа.
Anthropic также, как ожидается, намерена провести публичное размещение акций в этом году и, по имеющейся информации, выбрала площадкой Nasdaq. Листинг может усилить акцент компании на прозрачности и обеспечить капитал для дальнейшей разработки моделей. OpenAI, напротив, по-прежнему ориентируется на размещение в 2027 году и называет безопасность одним из факторов при принятии решения. Разные сроки отражают то, как ИИ-компании сопоставляют потребность в капитале, требования к раскрытию информации и долгосрочные обязательства в сфере безопасности.
Саммит в Великобритании показал обеспокоенность общества рисками ИИ
На этой неделе король Великобритании Карл III должен провести саммит по ИИ в Dumfries House в Шотландии. Ожидается участие руководителей Nvidia, Google DeepMind, OpenAI и Anthropic. Встреча, вероятно, не завершится обязательными для отрасли договоренностями. Король намерен призвать участников обеспечить, чтобы ИИ оставался «на службе человечества, сообществ и природы». Саммит проходит на фоне спора о том, не развиваются ли передовые модели слишком быстро.
Согласно недавнему опросу, 63% жителей США считают как минимум умеренным риск того, что развитый ИИ способен уничтожить человечество. До публикации результатов бывший исследователь Anthropic Джейкоб Коксон публично покинул компанию и предупредил, что ведущие ИИ-лаборатории ставят под угрозу общественную жизнь в погоне за самосовершенствующимся сверхинтеллектом. После этого Амодеи призвал отрасль контролировать темпы развития передовых моделей, а Альтман поддержал усиление мер безопасности.
Общественная обеспокоенность не делится строго по партийным линиям. Риск как минимум умеренным назвали 70% респондентов, голосовавших за Камалу Харрис на выборах 2024 года, и 60% поддержавших Дональда Трампа. Около 45% участников опроса считают, что разработку более совершенных моделей следует приостановить, тогда как 40% полагают, что отрасли следует продолжать работу, поскольку технология все еще может принести значительные выгоды.
В центре спора остаются три практических вопроса: должны ли темпы разработки передовых моделей иметь ограничения, следует ли допускать независимых оценщиков к внутренним системам компаний и как быстро разработчики должны раскрывать инциденты, связанные с безопасностью. На фоне сбоев контроля при тестировании, автоматизированных мошеннических схем и возможных листингов отрасль и регуляторы пока не выработали проверяемые стандарты безопасности и четкие механизмы распределения ответственности.