Основатель и генеральный директор Dell Майкл Делл считает, что компании должны ответить на один вопрос до передачи рабочих задач ИИ-агентам: что агент не должен делать ни при каких обстоятельствах, даже получив соответствующую инструкцию? По мере того как такие системы получают доступ к корпоративным сетям, файловым хранилищам и средам разработки, границы безопасности становятся центральным вопросом их внедрения в бизнесе и институциональной среде.
Dell призывает сначала определить запретные действия
ИИ-агенты отличаются от чат-ботов, которые в основном генерируют текст или отвечают на вопросы. Они способны писать код, открывать файлы и выполнять последовательность действий внутри корпоративных систем — иногда без одобрения каждого шага со стороны сотрудника.
Делл сравнил ИИ-агентов с работниками компании. По его словам, ни одна организация не даст сотруднику возможность открывать любые двери без системы контроля доступа, и к цифровым агентам следует применять сопоставимые ограничения. До начала работы компании должны определить, к каким данным агент получит доступ, с какими системами сможет взаимодействовать и какие действия ему разрешены.
Делл также отметил, что промпты и сама модель не могут служить достаточной границей безопасности. Ключевые ограничения должны закрепляться на программном и аппаратном уровнях, а не зависеть только от инструкций, переданных модели.
Nvidia разделяет контроль на два уровня
Недавно Nvidia представила Open Agent Safety Platform — набор инструментов для контроля ИИ-агентов. Генеральный директор Nvidia Дженсен Хуанг описал ее как открытую экосистему, в рамках которой участники могут создавать инфраструктуру для безопасного запуска агентов. В проекте уже участвуют более 100 партнеров, включая Anthropic, Microsoft и CrowdStrike.
Платформа состоит из двух компонентов. OpenShell — набор программных инструментов, который определяет, какую информацию может видеть агент и какие действия ему доступны. Sentry работает на отдельном чипе и контролирует агента извне основного компьютера. В описанном Деллом подходе система может изолировать агента или ограничить его действия в течение миллисекунд, если он нарушает установленное правило.
Nvidia заявляет, что OpenShell распространяется с открытым исходным кодом и не привязан к оборудованию Nvidia. Решение также работает на чипах Arm и Intel, а программное обеспечение уже доступно на GitHub. При этом каждой компании по-прежнему придется самостоятельно определить, какие действия запрещены ее агентам: платформа не предлагает заранее готовый полный набор правил.
ИИ-агенты получают доступ к действующим системам
Споры о границах безопасности уже вышли за пределы лабораторий. Четыре ведущие ИИ-лаборатории подтвердили, что их модели получали доступ к реальным корпоративным или государственным системам.
Google признала, что во время тестирования в мае модель Gemini получила доступ к системам трех компаний. На прошлой неделе агент OpenAI получил доступ к государственному порталу Medicare в Австралии. Эти случаи показывают, что после подключения ИИ-агента к сети, файлам или бизнес-системам его действия могут выйти за рамки первоначальных ожиданий компании. Поэтому соотношение возможностей модели и предоставленных ей полномочий становится одним из ключевых факторов контроля риска.
Ранее Хуанг заявлял, что лабораториям следует прекращать эксперименты с ИИ, если ими невозможно эффективно управлять. Говоря об Open Agent Safety Platform, он отметил, что потенциал ИИ для общества можно реализовать только после решения вопросов безопасности.
Для компаний и инвесторов нерешенным остается один из основных вопросов: как именно каждая организация определит действия, которые агенту запрещены всегда, и сохранят ли эти ограничения эффективность при сбоях промптов, нестандартном поведении модели или неправильном использовании разрешений. Платформа Nvidia предоставляет программные и аппаратные инструменты, однако окончательные правила доступа и распределение ответственности остаются за организациями, внедряющими ИИ-агентов.