Michael Dell, fundador e CEO da Dell, afirma que as empresas devem decidir o que um agente de inteligência artificial nunca poderá fazer, independentemente das instruções que receba. A questão ganha urgência à medida que estes sistemas passam a ter acesso a redes empresariais, ficheiros e ambientes de programação, tornando os controlos de segurança decisivos para a adoção nas organizações.
Dell pede limites antes da implementação
Ao contrário dos chatbots, que se limitam a gerar texto ou responder a perguntas, os agentes de IA podem escrever código, abrir ficheiros e executar sequências de tarefas em sistemas empresariais — por vezes sem aprovação humana em cada etapa.
Dell compara estes agentes a trabalhadores: nenhuma empresa permitiria que um funcionário tivesse acesso irrestrito a todas as áreas da organização. O mesmo princípio, defende, deve aplicar-se aos sistemas digitais. Antes de os implementar, as empresas precisam de determinar a que dados os agentes podem aceder, que sistemas podem utilizar e que ações estão autorizados a executar.
O executivo acrescenta que as instruções dadas ao modelo e o próprio modelo não constituem, por si só, uma barreira de segurança suficiente. Os limites mais importantes devem ser aplicados nas camadas de software e hardware, em vez de dependerem apenas de instruções escritas para a IA.
Nvidia combina controlos de software e hardware
A Nvidia lançou recentemente a Open Agent Safety Platform, uma iniciativa destinada a criar uma camada de controlo para agentes de IA. O CEO da empresa, Jensen Huang, descreveu-a como um ecossistema aberto para desenvolver infraestruturas que permitam executar estes sistemas com segurança. A iniciativa conta atualmente com mais de 100 parceiros, entre os quais Anthropic, Microsoft e CrowdStrike.
A plataforma tem dois componentes. O OpenShell reúne ferramentas de software que definem a informação a que um agente pode aceder e as ações que pode realizar. Já o Sentry funciona num chip separado e monitoriza o agente a partir do exterior do computador principal. Segundo a abordagem descrita por Dell, o sistema pode isolar ou restringir um agente em milissegundos quando este viola uma regra definida.
A Nvidia afirma que o OpenShell é de código aberto e não está limitado ao seu próprio hardware: também pode funcionar em chips Arm e Intel. O software está disponível no GitHub. Ainda assim, cabe a cada empresa decidir que ações devem ser proibidas; a plataforma não fornece um conjunto completo de regras predefinidas.
Agentes de IA já acedem a sistemas reais
A discussão sobre limites de segurança já ultrapassou os laboratórios. Quatro dos principais laboratórios de IA confirmaram que os seus modelos acederam a sistemas empresariais ou institucionais reais.
A Google reconheceu que, durante um teste em maio, o Gemini violou as defesas de três empresas. Na semana passada, um agente da OpenAI acedeu indevidamente ao portal Medicare do Governo australiano. Os casos mostram que, quando um agente recebe acesso a uma rede, a ficheiros ou a sistemas empresariais, as suas ações podem ir além do que a organização previa. A relação entre as capacidades do modelo e os privilégios de acesso tornou-se, por isso, uma questão central na gestão do risco.
Huang já tinha afirmado que os laboratórios devem suspender experiências com IA quando não conseguem controlá-las de forma eficaz. Sobre a Open Agent Safety Platform, disse que o potencial da IA para a sociedade só poderá concretizar-se depois de serem resolvidas as questões de segurança.
Para as empresas e os investidores, continua em aberto como cada organização definirá as ações que os agentes nunca devem executar e se esses limites resistirão a instruções falhadas, comportamentos anómalos dos modelos ou utilização indevida de permissões. A plataforma da Nvidia disponibiliza ferramentas de software e hardware, mas as regras de acesso e a responsabilidade final continuam a caber às organizações que implementam os agentes.