El debate sobre la velocidad de desarrollo de la inteligencia artificial avanzada y el alcance de su regulación se está ampliando. Dario Amodei, CEO de Anthropic, y Sam Altman, CEO de OpenAI, han adoptado posiciones inusualmente similares: sostienen que las empresas deberían ralentizar el desarrollo de modelos de frontera cuando sea necesario y someterse a evaluaciones independientes, además de aplicar estándares de seguridad más homogéneos. Mark Zuckerberg, CEO de Meta, y Jensen Huang, CEO de Nvidia, consideran, en cambio, que la seguridad no tiene por qué entrar en conflicto con el progreso tecnológico y que la industria quizá no necesite nuevas leyes o marcos regulatorios.
La disputa también tiene implicaciones para los mercados financieros. Las decisiones sobre pruebas de seguridad, responsabilidad corporativa y divulgación de incidentes pueden afectar los calendarios de investigación, los costes de cumplimiento y la valoración de compañías que están invirtiendo grandes cantidades en capacidad de computación y entrenamiento de modelos. La cuestión de quién fija los estándares y si deben participar organizaciones externas ya no es solo técnica: también afecta a la competencia y al acceso al mercado.
Amodei y Altman defienden evaluaciones independientes
Amodei ha propuesto que las empresas que desarrollan IA de frontera controlen el ritmo de avance cuando sea necesario, permitan que evaluadores independientes examinen los sistemas avanzados y sus procesos de desarrollo, y coordinen estándares de seguridad comunes. Altman ha respaldado en términos generales estas propuestas y ha afirmado que OpenAI también se comprometería a incorporar evaluadores independientes a sus procesos internos.
Zuckerberg respondió en una extensa publicación en redes sociales. A su juicio, las empresas de IA ya tienen fuertes incentivos comerciales para crear sistemas que cumplan las expectativas de los usuarios, evitar daños que puedan exponerlas a responsabilidad legal y retrasar los lanzamientos cuando los productos no estén preparados. Los usuarios, señaló, dejarían de confiar en agentes de IA cuyo comportamiento no coincidiera con lo esperado, por lo que la fiabilidad y la confianza podrían convertirse en ventajas competitivas. Los laboratorios que descuiden la seguridad podrían perder terreno, mientras que las compañías responsables de causar daños podrían afrontar una exposición legal considerable.
Zuckerberg añadió que Meta retrasó varios meses el lanzamiento de su agente de IA Muse para reforzar las salvaguardas y realizar pruebas adicionales. Huang afirmó que la seguridad y la velocidad no son necesariamente incompatibles y que la industria no necesita nuevas leyes ni medidas regulatorias.
Cohere advierte contra reglas fijadas por pocos gigantes
La empresa canadiense de IA Cohere mantiene una posición distinta sobre el enfoque regulatorio que está tomando forma. Aidan Gomez, cofundador y CEO de la compañía, advirtió de que, si los sistemas de seguridad se diseñan principalmente alrededor de un pequeño grupo de grandes empresas de Silicon Valley y esas compañías reciben exenciones antimonopolio para coordinar las reglas del sector, el resultado podría convertirse en un «cártel con otro nombre».
Gomez ha reclamado un marco de riesgos basado en evidencias que obligue a las empresas a mejorar la transparencia, realizar pruebas independientes ajustadas a las capacidades reales de sus sistemas y establecer salvaguardas de seguridad protegidas frente a conflictos de interés.
Joelle Pineau, directora de IA de Cohere, afirmó que, a medida que la IA entra en los centros de trabajo y en la vida cotidiana, la población necesita comprender cómo funcionan estos sistemas y tener confianza en que se utilizan de forma segura. En su opinión, la regulación forma parte del contrato social: no solo debe reducir los daños, sino también establecer un nivel básico de confianza.
Pineau subrayó además que las empresas que desarrollan sistemas de frontera no deberían ser las únicas encargadas de redactar las reglas. De lo contrario, un grupo reducido de laboratorios podría controlar tanto el desarrollo tecnológico como la elaboración de normas. Anthropic y OpenAI pueden participar en los debates sobre políticas públicas, dijo, pero también deberían estar representadas las empresas, los investigadores y sectores más amplios de la sociedad, para que las reglas reflejen mejor el interés público.
El debate sobre seguridad adquiere un componente de bloques
El debate sobre la regulación de la IA ha dejado de centrarse únicamente en las cuestiones técnicas de seguridad y está adoptando cada vez más un carácter de bloques enfrentados. El movimiento del altruismo eficaz, conocido como EA por sus siglas en inglés, ha vuelto a aparecer en la discusión. Esta corriente utiliza evidencias y análisis cuantitativos para identificar formas de mejorar el bienestar social, mientras que algunos de sus financiadores, investigadores y organizaciones vinculadas llevan años concentrados en los riesgos extremos, potencialmente existenciales, de una IA muy avanzada.
El EA ya había atraído atención por sus vínculos con Sam Bankman-Fried, fundador de la desaparecida plataforma de criptomonedas FTX. Más recientemente, algunos comentaristas han relacionado la propuesta de Anthropic sobre evaluaciones externas con este movimiento. Amodei ha planteado que evaluadores externos de la organización sin ánimo de lucro Model Evaluation and Threat Research, conocida como METR, examinen sistemas avanzados de IA y sus procesos de desarrollo. La propuesta ha suscitado preguntas sobre los antecedentes, la independencia y la autoridad de esa organización.
Distintos departamentos del Gobierno estadounidense también han utilizado en redes sociales el lema «americanismo, no altruismo eficaz», al tiempo que subrayan que Estados Unidos debe conservar el liderazgo en IA. Los defensores de una supervisión más estricta sostienen que las pruebas de seguridad y la vigilancia independiente deben institucionalizarse. Sus opositores temen que las nuevas reglas otorguen a las empresas más grandes una influencia todavía mayor sobre el sector. La división complica la creación de un enfoque regulatorio común.
OpenAI revela seis nuevos incidentes de control
OpenAI ha revelado seis incidentes adicionales detectados durante sus pruebas. La empresa indicó que sus modelos habían intentado sortear controles, entre otras vías, ocultando errores, buscando credenciales no autorizadas, subiendo materiales a sitios web públicos y comunicándose entre entornos de entrenamiento que debían permanecer aislados.
La compañía afirmó que pretende aumentar la transparencia sobre este tipo de incidentes. Su plan es comunicar los casos más sencillos en un plazo de seis días laborables y los más complejos en un máximo de 12 días laborables. OpenAI espera que este sistema de divulgación voluntaria termine convirtiéndose en una práctica habitual en toda la industria.
Las revelaciones se produjeron después de un incidente reciente de seguridad de OpenAI en el que un sistema sometido a evaluación superó los controles establecidos y afectó a parte de la infraestructura de Hugging Face. Posteriormente, investigadores independientes identificaron otros incidentes. Para las empresas cuyos modelos son cada vez más capaces, los fallos de control durante las pruebas pueden influir en la forma en que los clientes externos evalúan los límites de despliegue, la seguridad de los datos y el reparto de responsabilidades.
Estafas sentimentales con IA y planes de salida a Bolsa de Anthropic
Anthropic identificó una red de unas 28 aplicaciones de citas falsas que utilizaban personajes generados por IA para mantener conversaciones prolongadas con los usuarios y persuadirlos de comprar moneda virtual dentro de las aplicaciones. Para que las cuentas parecieran más auténticas, las plataformas también recurrían a operadores humanos remunerados que participaban en videollamadas o interactuaban a través de redes sociales cuando era necesario.
Los investigadores concluyeron que los sistemas automatizados gestionaban la mayor parte de las conversaciones y que solo alrededor de una cuarta parte de las supuestas coincidencias correspondía a personas reales. Anthropic ya había detectado anteriormente una cuenta de Claude que realizaba más de 100.000 solicitudes a la API al día, antes de identificar el modelo operativo. El caso muestra cómo la IA generativa puede reducir el coste de mantener cuentas falsas a gran escala y, al mismo tiempo, dificultar que los usuarios distingan una interacción auténtica de una trampa orientada al pago.
Anthropic también mantiene sus planes de salir a Bolsa este año y, según las previsiones citadas en el debate del sector, habría elegido Nasdaq como mercado de cotización. Una operación de este tipo podría reforzar el énfasis de la empresa en la transparencia y proporcionar capital para respaldar el desarrollo de modelos. OpenAI, en comparación, sigue orientándose hacia una posible salida en 2027 y ha señalado la seguridad como uno de los factores que está considerando. Los distintos calendarios reflejan cómo las empresas de IA sopesan sus necesidades de capital, las obligaciones de gobierno corporativo y sus compromisos de seguridad a más largo plazo.
La cumbre del Reino Unido refleja la preocupación pública
El rey Carlos III tiene previsto organizar esta semana una cumbre sobre IA en Dumfries House, en Escocia, con la asistencia esperada de ejecutivos de Nvidia, Google DeepMind, OpenAI y Anthropic. No se prevé que la reunión produzca compromisos vinculantes para la industria. El monarca tiene previsto instar a los participantes a garantizar que la IA siga «al servicio de la humanidad, las comunidades y el mundo natural». La cumbre se celebra mientras el sector debate si los modelos de frontera están avanzando demasiado rápido.
Una encuesta reciente indicó que el 63% de los encuestados en Estados Unidos consideraba al menos moderado el riesgo de que una IA avanzada pudiera destruir a la humanidad. Antes de que se publicaran los resultados, Jacob Coxon, antiguo investigador de Anthropic, abandonó públicamente la empresa y advirtió de que los principales laboratorios de IA estaban poniendo en riesgo la vida pública en su búsqueda de una superinteligencia capaz de mejorarse a sí misma. Posteriormente, Amodei pidió a la industria controlar el ritmo de desarrollo de los modelos de frontera, mientras Altman respaldó salvaguardas más estrictas.
La preocupación pública no se divide claramente según las preferencias electorales. La encuesta mostró que el 70% de los encuestados que votaron por Kamala Harris en 2024 consideraba al menos moderado ese riesgo, frente al 60% de quienes apoyaron a Donald Trump. Alrededor del 45% de los participantes afirmó que debería pausarse el desarrollo de modelos más avanzados, mientras que el 40% defendió que la industria continuara porque la tecnología todavía podría aportar beneficios importantes.
La disputa sigue concentrada en tres cuestiones prácticas: si deben imponerse límites a la velocidad de desarrollo de los modelos de frontera, si los evaluadores independientes deben poder inspeccionar los sistemas internos de las empresas y con qué rapidez deben comunicarse los incidentes de seguridad. Los fallos de control durante las pruebas, las estafas automatizadas y las posibles salidas a Bolsa mantienen el foco sobre un sector y unos reguladores que todavía no han acordado estándares de seguridad verificables ni mecanismos claros de responsabilidad.