Intentos bloqueados de usar IA en investigación sensible sobre armas biológicas
Anthropic, desarrollador de inteligencia artificial, ha divulgado un informe detallado de 154 páginas sobre amenazas detectadas en el uso de su modelo de IA, Claude. En el documento se expone que Claude fue objeto de varios intentos para apoyar investigaciones potencialmente relacionadas con armas biológicas, en especial a partir de una propuesta de subvención que buscaba modificar el virus Chikungunya para aumentar su transmisibilidad y evadir la respuesta inmune. La compañía aplicó sus filtros de seguridad para impedir que Claude asistiera en estas solicitudes, sin embargo, los investigadores redirigieron sus consultas a modelos de IA ofrecidos por otros proveedores, evidenciando los retos de seguridad en investigaciones biomédicas delicadas.
Proyecto de investigación bloqueado, investigadores recurren a modelos rivales
La investigación controvertida fue presentada por científicos civiles que planeaban colaborar con una agencia militar y pretendían potenciar la propagación de un virus para el cual no existe cura actualmente. Anthropic rechazó reiteradas solicitudes vinculadas a este proyecto, y Claude impuso restricciones rigurosas de contenido. No obstante, los científicos desarrollaron un sistema para redirigir automáticamente las consultas prohibidas a una IA competitora. Anthropic calificó esta estrategia como una respuesta a lo que describió como un problema de “sobrebloqueo” en la moderación de contenido de IA.
Cinco casos identificados y medidas adoptadas, sin acusaciones directas
El informe de Anthropic documenta cinco instancias específicas relacionadas con investigaciones biológicas que activaron sus mecanismos de alerta. La empresa ha suspendido algunas cuentas de usuario y revocado el acceso a laboratorios implicados. Sin embargo, el informe se abstiene de afirmar que existiera intención maliciosa, señalando: “No afirmamos que tuvieran fines nocivos, y revelar su identidad podría poner en riesgo su seguridad.” Un caso destacado incluye a un investigador de influenza aviar que recurrió a modelos de IA de funcionalidad limitada para disminuir el riesgo de abuso. Anthropic destacó que aunque los protocolos de filtrado proporcionan un nivel de control preventivo, la complejidad para evaluar plenamente los riesgos de seguridad persiste.
Desafíos regulatorios y de seguridad en la gobernanza de IA para investigaciones sensibles
Estos hallazgos ponen de manifiesto los retos presentes en el monitoreo y mitigación del uso indebido de IA en investigaciones científicas de alto riesgo, especialmente en proyectos duales civiles y militares. La industria enfrenta interrogantes urgentes sobre cómo los marcos regulatorios pueden supervisar eficazmente las aplicaciones de IA en estos ámbitos y cómo los desarrolladores pueden reforzar las defensas contra técnicas de elusión. El informe, elaborado por el equipo principal de seguridad de Anthropic, refleja el compromiso de la compañía con la transparencia en cuanto a la seguridad de la IA, al tiempo que aboga por un equilibrio entre innovación y supervisión.