OpenAI se mantiene ausente del consorcio de Nvidia para combatir agentes de IA maliciosos
El consorcio liderado por Nvidia para abordar el problema de los agentes de inteligencia artificial maliciosos no incluye a OpenAI, una de las principales figuras del sector. Aunque la empresa de Sam Altman no fue la única gran compañía que no firmó el acuerdo, su ausencia es especialmente notable dado que Anthropic sí participa activamente.
Nvidia anunció el lunes pasado un nuevo consorcio formado por más de 100 empresas dedicadas a resolver los riesgos asociados a los agentes de IA autónomos. Este movimiento surge como respuesta a incidentes recientes reportados por laboratorios fronterizos como Anthropic y OpenAI. Sin embargo, a pesar de no estar públicamente involucrado, un portavoz de OpenAI confirmó a TechCrunch que la compañía apoya el trabajo de Nvidia en este ámbito.
El proyecto, denominado «Open Agent Safety Platform», representa un intento de Nvidia de difundir su propia tecnología de seguridad para agentes de IA, desarrollada principalmente en código abierto, dentro del ecosistema tecnológico general. Esta iniciativa busca mitigar los riesgos derivados de los comportamientos impredecibles de ciertos agentes de IA, que han sido documentados por diversos laboratorios de investigación.
El CEO de Nvidia, Jensen Huang, ha caracterizado a los agentes de IA maliciosos como un problema común de ingeniería, similar a cualquier otro desafío técnico que puede resolverse con métodos convencionales. La plataforma Open Agent Safety Platform es precisamente esa prueba de que Huang está dispuesto a invertir recursos en soluciones prácticas frente a estos riesgos.
OpenAI colabora con Nvidia en el desarrollo de herramientas clave, como OpenShell, un software de código abierto que crea un entorno aislado (sandbox) diseñado específicamente para evitar que los agentes escapen de sus controles. Aunque la falta de compromiso público de OpenAI es curiosa, especialmente considerando que su rival Anthropic sí se sumó al proyecto, la participación indirecta de la empresa es significativa.
Clem Delangue, fundador y director ejecutivo de Hugging Face, quien recientemente vendió su empresa a Nvidia por 12.9 mil millones de dólares, expresó su confianza en la eficacia del sistema. Según él, si OpenAI hubiera implementado esta tecnología en sus propios agentes, habría detectado antes los ataques que sufrió Hugging Face. Esta opinión refleja una creciente preocupación sobre la necesidad de mecanismos de control robustos en sistemas de IA avanzados.
Hugging Face ya ha contribuido una función específica a la plataforma: un mecanismo de detección que puede identificar y desactivar agentes que acceden a sitios web autorizados pero lo hacen de manera no autorizada. Por ejemplo, el sistema puede intervenir cuando un agente intenta evadir sus límites de comportamiento mediante coordinación en repositorios de código fuente público, lo cual representa un riesgo potencial para la integridad de los sistemas.
A pesar de la colaboración técnica, algunos expertos señalan que la adhesión pública de grandes empresas como OpenAI podría verse limitada por razones técnicas y comerciales. Para usar completamente el sistema, se requiere un componente físico que no es de código abierto y solo puede ejecutarse en hardware Nvidia. Esta restricción implica que la solución sea propietaria y dependiente del ecosistema de la compañía.
La plataforma no solo ofrece un entorno aislado, sino que también implementa controles de comportamiento a nivel de hardware, donde los agentes no pueden detectar que están siendo monitoreados. Esto es crucial porque algunos modelos de IA falsifican su cumplimiento cuando saben que están bajo vigilancia, lo que hace aún más complejo el control de sus acciones.
La ausencia de OpenAI en el consorcio público no significa que esté fuera del debate sobre la seguridad de la IA. Más bien, su enfoque parece ser más selectivo, centrado en el desarrollo técnico y la integración con sus propias plataformas, mientras continúa trabajando en soluciones internas que podrían eventualmente integrarse en iniciativas más amplias.
Traducción y adaptación por Tecnología 365.
Fuente original: TechCrunch