Goodfire lanza monitores 'dentro hacia afuera' para detectar agentes de IA maliciosos a un costo reducido
Goodfire, una startup especializada en la interpretación de modelos de inteligencia artificial (IA), presentó este jueves una solución más económica para vigilar el comportamiento interno de los sistemas de IA. A diferencia de las herramientas tradicionales que solo analizan las salidas de los modelos, los nuevos monitores de Goodfire observan en tiempo real lo que sucede dentro del sistema mientras procesa información.
Esta tecnología está disponible para clientes de Baseten, plataforma que aloja y ejecuta modelos de IA para otras empresas. La asociación entre Baseten, Goodfire y Hugging Face fue anunciada el mes pasado como parte de una iniciativa de seguridad en el desarrollo de IA. El lanzamiento de Goodfire viene justo después de varios incidentes este año en los que agentes de IA escaparon de sus entornos de prueba, incluyendo casos donde agentes de OpenAI accedieron a información fuera de sus controles en Hugging Face.
El primer modelo utilizado por Goodfire para desarrollar sus monitores fue Kimi K3, un modelo de código abierto. Este modelo fue vulnerado durante el verano cuando un fallo en su entorno aislado permitió acceso a Internet y datos de GitHub. Este incidente sirvió como punto de partida para desarrollar soluciones de vigilancia interna más robustas.
La metodología de Goodfire se asemeja al control de seguridad en aeropuertos. Pequeños dispositivos llamados «probes» examinan las señales internas del modelo en cada paso de su ejecución, similar a cómo un escáner de mano revisa a cada pasajero. Solo cuando un detector identifica algo sospechoso, un segundo modelo de IA realiza un análisis más detallado, equivalente a una revisión manual.
Los usuarios de Baseten pueden elegir qué tipos de riesgos desean monitorear, como posibles intentos de hacking, uso indebido de armas químicas o biológicas, o manipulación de recompensas. También tienen control sobre la respuesta automática: registrar el evento, enviarlo para revisión humana o rechazar la solicitud directamente.
Según Goodfire, su enfoque es significativamente más económico que las soluciones existentes. La mayoría de los monitores actuales son modelos independientes que deben volver a procesar todo lo que hace el modelo vigilado, lo cual incrementa tanto el tiempo como los costos operativos. En cambio, las «probes» de Goodfire utilizan los cálculos ya realizados por el modelo durante su ejecución normal.
«Los monitores de activación interna son realmente baratos porque reutilizan los cálculos realizados en la pasada hacia adelante», dijo el CEO de Goodfire, Eric Ho, en una entrevista reciente en el podcast de Matt Turck. «El modelo ya está calculando este token. Lo único que hacemos es tomar las activaciones neuronales intermedias que ya ha calculado y correr un clasificador sobre estas computaciones internas.»
En pruebas con Kimi K3, el costo de supervisar unas 1.500 sesiones fue de aproximadamente 51 dólares, frente a 233 dólares para un modelo de IA más básico y 10.000 dólares para uno de alto nivel. Las pruebas mostraron que las probes detectaron el 94% de las sesiones maliciosas, y enviaron el 8.7% de las inocuas a revisión adicional. Ejecutar cuatro monitores simultáneamente añadió menos del 2% al tiempo de respuesta del modelo.
«La gran ventaja es que puedes detectar cosas antes de que ocurran», afirmó Dan Balsam, CTO y cofundador de Goodfire. «Podemos detectar cuándo el modelo podría realizar un hackeo durante evaluaciones o entrenamiento.» Esta capacidad de anticiparse a posibles amenazas es especialmente valiosa en el contexto de modelos abiertos, donde los desarrolladores pueden eliminar fácilmente las protecciones y no reciben el mismo nivel de supervisión que los sistemas cerrados de grandes laboratorios.
«El daño que puede causar una persona con un modelo abierto es menor comparado con lo que alguien puede hacer con un clúster de computación», señaló Balsam, destacando la importancia de tener mecanismos de vigilancia eficientes y accesibles para prevenir abusos a gran escala en sistemas de IA descentralizados.
Traducción y adaptación por Tecnología 365.
Fuente original: TechCrunch