Satya Nadella, presidente y CEO de Microsoft, defendió el 10 de octubre que los sistemas avanzados de inteligencia artificial cuenten con medidas de aislamiento, controles independientes y un «freno de emergencia» que permita a personas autorizadas pausar o apagar un modelo mientras está en funcionamiento. La propuesta lleva el debate sobre seguridad más allá del diseño de los modelos y pone el foco en los controles operativos y las auditorías, con implicaciones para la gestión de interrupciones y de comportamientos imprevisibles.
Nadella reclama controles operativos para los modelos no deterministas
En una publicación en X, Nadella señaló que los modelos no deterministas deberían operar dentro de sistemas robustos y deterministas, con supervisión humana y procedimientos fiables. Si las normas actuales no bastan, añadió, el sector debería desarrollar otras nuevas. También planteó que, al diseñar medidas de protección, se considere tanto a los modelos avanzados de código cerrado como a los modelos de pesos abiertos como posibles «riesgos internos».
Entre los principios que propuso figuran la observabilidad de los sistemas, el uso de modelos diversos y la conservación de registros de sus acciones que las personas puedan entender. También pidió pruebas continuas, controles y auditorías independientes, mecanismos de aislamiento y planes para comunicar incidentes. Para las empresas y los inversores, estas medidas pueden afectar al coste de despliegue, a la rendición de cuentas operativa y a la gestión de posibles pérdidas, además del rendimiento de los modelos.
«Los sistemas de superinteligencia más fiables no serán aquellos que dependan de un único modelo en el que todos confían más», escribió Nadella. En su opinión, la confianza debe recaer en el sistema en su conjunto, aunque se mantenga la cautela respecto al modelo.
Directivos tecnológicos discrepan sobre el ritmo y las salvaguardas
Las declaraciones de Nadella se producen en medio de un debate persistente en la industria tecnológica sobre la seguridad de la IA. Bill Gates, cofundador de Microsoft; Dario Amodei, CEO de Anthropic; Sam Altman, CEO de OpenAI, y Elon Musk, CEO de SpaceX, han expresado preocupación por la insuficiencia de las salvaguardas o por la velocidad del desarrollo.
El mes pasado, un investigador de IA dejó Anthropic y acusó a la compañía y a su rival OpenAI de poner vidas humanas en juego. Ese mismo día, un responsable de alineamiento de Anthropic centrado en la seguridad de la IA afirmó que había más de un 10% de probabilidades de que la tecnología causara la «extinción humana» en la próxima década. Estas declaraciones reflejan la preocupación del sector por los riesgos extremos y sitúan bajo escrutinio las evaluaciones de riesgo, la gobernanza y los mensajes públicos de las empresas.
Washington prioriza también la competencia con China
El presidente de Estados Unidos, Donald Trump, ha restado importancia en repetidas ocasiones al riesgo de que la IA provoque la extinción humana y ha insistido en que el país debe mantenerse por delante de China en este ámbito. Recientemente anunció la creación de una nueva «AI Force», dirigida por el director de Inteligencia Nacional, Jay Clayton. Su mandato incluye impulsar el desarrollo de la industria e identificar a actores malintencionados.
El debate avanza así por dos vías: directivos e investigadores reclaman controles de seguridad más sólidos, y algunos piden ralentizar el desarrollo de los modelos más avanzados; al mismo tiempo, el Gobierno estadounidense subraya la competencia tecnológica y ha puesto en marcha una iniciativa relacionada con la seguridad. Las propuestas de Nadella —intervención humana, aislamiento, auditorías y comunicación de incidentes— abordan una cuestión operativa concreta: cómo garantizar que las personas puedan intervenir mientras la IA sigue desarrollándose y desplegándose.