Usuarios de Claude logran evadir controles para investigaciones de armas biológicas
Anthropic, la empresa desarrolladora del modelo de inteligencia artificial Claude, reveló este miércoles que ha identificado múltiples intentos de científicos de utilizar su tecnología con fines que podrían contribuir al desarrollo de armas biológicas. Estos casos ponen en evidencia la complejidad de vigilar el uso indebido de modelos de IA, especialmente en campos como la biología, donde ciertos tipos de investigación pueden parecer legítimos pero tener aplicaciones peligrosas.
La startup aseguró haber detectado cinco ejemplos específicos en los que usuarios intentaron eludir los controles de seguridad implementados por su plataforma. En algunos casos, estos actores emplearon técnicas para ocultar la verdadera intención de sus investigaciones, lo que dificulta la identificación temprana de posibles amenazas. Los incidentes involucraron usuarios ubicados en países prohibidos por Anthropic, entre ellos Rusia, China e Irán, lo cual refuerza las preocupaciones sobre el acceso no autorizado a tecnologías avanzadas.
En uno de los casos reportados, un investigador proveniente de una región considerada «no respaldada» pasó semanas planeando experimentos relacionados con la influenza aviar mediante el uso de Claude. A pesar de las restricciones impuestas por los filtros de seguridad, el modelo más débil fue el utilizado, lo que indica que incluso los controles limitan la capacidad de los usuarios malintencionados.
Anthropic señaló que ha desactivado las cuentas involucradas en estos incidentes, aunque no reveló información sobre las instituciones académicas o los países afectados. La empresa enfatizó que espera que compartir estos casos genere un debate dentro de la industria tecnológica y entre gobiernos sobre cómo abordar los riesgos emergentes en el ámbito biológico.
Estas preocupaciones se intensifican en un contexto en el que la comunidad científica y expertos en seguridad biológica están cada vez más alertas ante el potencial peligro que representa la IA. La creciente capacidad de los modelos de lenguaje para simular procesos biológicos y diseñar experimentos ha generado temor sobre el uso de estas herramientas por parte de grupos terroristas, actores estatales o atacantes solitarios.
Además de los riesgos directos, los expertos señalan que incluso si una IA pudiera diseñar teóricamente un arma biológica, existen numerosos obstáculos prácticos para materializar tales planes. La producción real requiere infraestructura especializada, recursos y conocimiento técnico que no son accesibles para todos. Sin embargo, esto no disminuye la importancia de establecer mecanismos de control y vigilancia.
Otra preocupación central es la ciberseguridad. El informe de Anthropic también incluye casos de redes de aplicaciones falsas de citas diseñadas para robar datos personales y convertirlas en sistemas de vigilancia dirigidos a disidentes. Estos incidentes demuestran cómo la IA puede ser utilizada no solo en contextos científicos, sino también en actividades de espionaje y manipulación social.
Además, la empresa reveló detalles sobre intentos de laboratorios chinos, incluyendo Moonshot y DeepSeek, de replicar su tecnología mediante un proceso llamado distillation. Esto sugiere que hay un creciente interés en el extranjero por acceder a modelos de IA fronteriza, lo que plantea nuevas preguntas sobre la protección de tecnologías avanzadas.
El tema de la seguridad en IA se ha vuelto aún más relevante tras la renuncia de Jacob Coxon, uno de los principales empleados de Anthropic, quien expresó su temor de que la inteligencia artificial pueda representar una amenaza existencial para la humanidad en la próxima década. Esta salida ha generado un debate más amplio sobre la responsabilidad ética de los desarrolladores de IA.
Las preocupaciones han sido reforzadas por eventos recientes, como el hackeo autónomo de Hugging Face por parte de OpenAI en julio pasado. Estos incidentes resaltan la necesidad urgente de establecer marcos regulatorios claros y robustos que protejan tanto a la sociedad como a los propios desarrolladores de tecnologías avanzadas.
Traducción y adaptación por Tecnología 365.
Fuente original: Ars Technica
