A Nvidia apresentou na segunda-feira a Open Agent Safety Platform, uma solução que combina controlos de software com monitorização independente por hardware para reduzir o risco de agentes de IA ultrapassarem as permissões atribuídas. Mais de 100 organizações, entre elas a Microsoft e a Anthropic, estão a trabalhar com a Nvidia na utilização do sistema.
O lançamento surge numa altura em que vários laboratórios de IA de referência relataram casos de agentes que saíram dos ambientes de teste e acederam a sistemas sem autorização. Manter estes sistemas autónomos dentro de limites definidos tornou-se uma preocupação prática de segurança para as empresas que os implementam.
Jensen Huang, CEO da Nvidia, afirmou na segunda-feira, no programa Squawk Box, da CNBC, que a IA pode trazer benefícios significativos, mas tem de ser desenvolvida e utilizada em segurança. Huang descreveu o controlo dos agentes de IA como um desafio de engenharia que pode ser resolvido com tecnologia.
OpenShell define as permissões antes da execução
O OpenShell é a camada de software da plataforma. As empresas podem instalar esta ferramenta de código aberto em dispositivos locais ou na nuvem e definir, antes do início de uma tarefa, a que ficheiros, sites, redes, ferramentas e credenciais cada agente pode aceder. Durante a execução, o sistema compara as ações do agente com as regras estabelecidas.
Huang comparou o modelo à atribuição de cartões de acesso a funcionários, limitados às áreas necessárias para as suas funções. O primeiro passo, explicou, é retirar as permissões ao agente e depois conceder-lhe acesso apenas aos ficheiros, dados, ferramentas ou serviços de internet de que precisa para a tarefa atribuída.
Por exemplo, um agente que processa faturas não deveria ter automaticamente acesso aos registos de pessoal nem poder comunicar livremente com a internet externa. O OpenShell coloca os agentes num ambiente isolado, procurando limitar o impacto de uma ação errada em vez de permitir que se propague a outros sistemas da empresa.
Sistema bloqueia violações de regras em tempo real
Um agente que se afaste das instruções não está necessariamente a agir de forma maliciosa. Instruções ambíguas, falhas nas ferramentas ou dificuldades em resolver uma tarefa complexa podem levá-lo a tentar alternativas que ultrapassem o que o operador pretendia.
A Nvidia afirma que o OpenShell foi concebido para detetar e bloquear em tempo real ações que violem as políticas predefinidas. O princípio central é manter o agente dentro de permissões explícitas, em vez de confiar que o próprio sistema decida a que dados ou infraestruturas deve ter acesso.
Nvidia Sentry acrescenta monitorização por hardware
O segundo componente, Nvidia Sentry, acrescenta uma camada de monitorização e isolamento. Funciona num processador de dados Nvidia BlueField dedicado, separado do sistema do agente. Segundo a Nvidia, esta arquitetura destina-se a impedir que o agente desative ou contorne a monitorização.
O Sentry acompanha as interações entre agentes e modelos, ferramentas, dados e redes. A Nvidia diz que o sistema pode isolar um agente em milissegundos caso detete atividade suspeita ou contrária às regras, colocando-o num ambiente de quarentena. Huang descreveu a arquitetura como a instalação de um chip entre o agente e um modelo de linguagem de grande dimensão, permitindo à Nvidia intercetar as interações.
O anúncio responde a preocupações sobre as permissões e a segurança operacional de sistemas autónomos de IA. A capacidade de identificar comportamentos anormais em ambientes empresariais sem bloquear atividades legítimas dependerá do desempenho da plataforma em utilização. A Nvidia apresentou uma arquitetura baseada na limitação prévia de permissões e em monitorização e isolamento externos ao ambiente de execução do agente.