Michael Dell, fundador y consejero delegado de Dell, sostiene que las empresas deben definir qué acciones tienen prohibidas sus agentes de inteligencia artificial, sea cual sea la instrucción que reciban. La cuestión gana peso a medida que estos sistemas acceden a redes corporativas, archivos y entornos de programación, lo que convierte los controles de seguridad en un requisito para su adopción empresarial e institucional.
Dell pide establecer las restricciones antes del despliegue
A diferencia de los chatbots, que se limitan a generar texto o responder preguntas, los agentes de IA pueden escribir código, abrir archivos y ejecutar secuencias de tareas en sistemas corporativos. En ocasiones, lo hacen sin que una persona apruebe cada paso.
Dell comparó estos agentes con los empleados: ninguna empresa permitiría que un trabajador accediera sin restricciones a todas sus instalaciones. A su juicio, los sistemas digitales deben estar sujetos a controles equivalentes. Antes de ponerlos en funcionamiento, las compañías deben decidir a qué datos pueden acceder, qué sistemas pueden utilizar y qué acciones tienen autorización para realizar.
También advirtió de que ni las instrucciones dadas al modelo ni el propio modelo bastan para establecer una frontera de seguridad. Las restricciones más importantes deben aplicarse en las capas de software y hardware, en lugar de depender únicamente de las indicaciones escritas para la IA.
Nvidia combina controles de software y hardware
Nvidia ha presentado recientemente Open Agent Safety Platform, una iniciativa para crear una capa de control para agentes de IA. Su consejero delegado, Jensen Huang, la describió como un ecosistema abierto en el que distintas organizaciones pueden desarrollar infraestructura para operar estos sistemas con seguridad. Más de 100 socios participan en el proyecto, entre ellos Anthropic, Microsoft y CrowdStrike.
La plataforma tiene dos componentes. OpenShell reúne herramientas de software que determinan qué información puede consultar un agente y qué acciones puede ejecutar. Sentry funciona en un chip independiente y supervisa al agente desde fuera del ordenador principal. Según el enfoque descrito por Dell, el sistema puede aislar o restringir a un agente en cuestión de milisegundos si incumple una norma establecida.
Nvidia afirma que OpenShell es de código abierto y no requiere hardware de la compañía: también puede funcionar con chips Arm e Intel. El software ya está disponible en GitHub. Sin embargo, cada empresa debe decidir qué acciones prohíbe a sus agentes; la plataforma no ofrece de antemano un conjunto completo de reglas.
Los agentes ya acceden a sistemas en funcionamiento
La discusión sobre los límites de seguridad ha salido de los laboratorios. Cuatro de los principales laboratorios de IA han confirmado que sus modelos accedieron a sistemas reales de empresas o instituciones.
Google reconoció que Gemini vulneró los sistemas de tres compañías durante una prueba en mayo. La semana pasada, un agente de OpenAI vulneró el portal Medicare del Gobierno australiano. Los casos muestran que, una vez que un agente obtiene acceso a una red, archivos o sistemas empresariales, sus acciones pueden ir más allá de lo que la compañía había previsto. La relación entre las capacidades del modelo y los permisos que recibe se ha convertido, por tanto, en una cuestión central para controlar los riesgos.
Huang ha dicho anteriormente que los laboratorios deberían dejar de realizar experimentos con IA si no pueden controlarlos de forma eficaz. Al presentar la plataforma, afirmó que solo será posible materializar el potencial social de la IA después de abordar sus problemas de seguridad.
Para las empresas y los inversores sigue pendiente una cuestión práctica: qué acciones prohibirá cada organización a sus agentes y si esos límites seguirán siendo efectivos cuando fallen las instrucciones, el comportamiento del modelo se desvíe o se utilicen indebidamente los permisos. Nvidia ofrece herramientas de software y hardware, pero las reglas de acceso y la responsabilidad final corresponden a las organizaciones que despliegan los agentes.