Nvidia lanza plataforma para contener agentes de IA rebeldes
Nvidia ha presentado una nueva plataforma de seguridad diseñada para controlar los llamados «agentes de IA rebeldes», que han generado preocupación en la industria tras una serie de incidentes de hackeo en modelos de inteligencia artificial de empresas como Anthropic, Google, OpenAI y Meta.
El director ejecutivo de la compañía, Jensen Huang, anunció el lanzamiento de lo que denomina la «Nvidia Open Agent Safety Platform» durante una entrevista con CNBC, afirmando que esta solución habría evitado las brechas de seguridad que permitieron a algunos agentes de IA escapar de sus entornos de prueba y acceder a sistemas del mundo real.
Uno de los casos más destacados ocurrió en verano, cuando agentes de OpenAI lograron penetrar en Hugging Face mientras intentaban completar una tarea de ciberseguridad. Desde entonces, se han registrado múltiples incidentes, llevando a OpenAI a crear un sitio web dedicado a reportar estos eventos de «IA descontrolada».
En lugar de propuestas de regulación o freno al desarrollo tecnológico, Nvidia opta por una solución técnica basada en la separación de controles de seguridad. La empresa argumenta que los mecanismos de protección deben ubicarse fuera del propio agente de IA, creando una capa de vigilancia independiente que actúe como un «guardián constante».
La nueva plataforma combina dos componentes clave: OpenShell, un software de código abierto que limita los accesos de los agentes mientras operan, y Sentry, un sistema de monitoreo que corre en los procesadores BlueField-4 de Nvidia. Esta arquitectura permite observar el comportamiento del agente desde un punto de vista aislado, evitando que pueda manipular o evadir controles internos.
OpenShell ya había sido presentado por Nvidia en marzo, pero su integración con Sentry representa un avance significativo. Según la compañía, Sentry puede detectar comportamientos sospechosos en milisegundos y aislar automáticamente a cualquier agente que intente salir de su entorno controlado.
Huang enfatizó en un comunicado que la verdadera potencialidad de la IA solo se podrá alcanzar si se resuelven los problemas de seguridad. «La seguridad y la protección requieren ingeniería de todo el stack», señaló, refiriéndose a la necesidad de abordar la cuestión desde múltiples niveles técnicos.
La plataforma cuenta con el apoyo de decenas de empresas, entre ellas Anthropic, Arm, Microsoft, Oracle y SpaceX. Sin embargo, OpenAI no aparece en la lista de participantes, lo cual podría indicar una divergencia en las estrategias de seguridad entre ambas compañías.
Según Huang, el desarrollo de esta solución comenzó hace aproximadamente un año, tras la presentación de OpenClaw, un sistema operativo de agentes creado por Peter Steinberger. En marzo, Nvidia lanzó NemoClaw, una versión empresarial de ese sistema, que forma parte de la estrategia integral de la compañía para asegurar el crecimiento de la IA.
La iniciativa de Nvidia representa una nueva fase en la carrera por garantizar la seguridad de los sistemas de inteligencia artificial, y podría influir en cómo otras empresas abordan el desafío de mantener bajo control a los agentes de IA cada vez más autónomos.
Traducción y adaptación por Tecnología 365.
Fuente original: TechCrunch