Fundadores de Anthropic y exdirectivo de METR lanzan startup para controlar agentes de IA en empresas
Un grupo de empresarios con experiencia en el sector de la inteligencia artificial ha desarrollado una solución innovadora para enfrentar los riesgos asociados al crecimiento desmedido de los agentes de IA dentro de las organizaciones. Rune Kvist, uno de los primeros empleados de Anthropic, y Rajiv Dattani, exdirector ejecutivo de la organización de investigación METR, han creado una nueva empresa llamada Artificial Intelligence Underwriting Company (AIUC), cuyo objetivo es garantizar la seguridad de los sistemas de IA en entornos empresariales.
La iniciativa surge tras preocupaciones crecientes sobre el potencial peligroso de los modelos de IA cada vez más avanzados. Dattani, quien también es hermano del fundador de la empresa, expresó que la inteligencia artificial está evolucionando a un ritmo acelerado, lo que dificulta su control y adopción. «Lo sorprendente es que cuanto más inteligente se vuelve la IA, más difícil se hace de controlarla», señaló Kvist.
La empresa AIUC propone un modelo basado en auditorías y certificaciones similares a los utilizados en ciberseguridad. El proceso implica someter a los agentes de IA a una batería de pruebas que abarcan desde posibles intentos de evasión (jailbreaks) hasta falsificaciones de datos (hallucinaciones) y filtraciones de información sensible. Estas evaluaciones son realizadas por medio de herramientas de IA, pero la verificación final es supervisada por humanos.
El modelo de AIUC ha recibido el respaldo de inversores destacados, incluyendo a Ribbit Capital, First Harmonic, y Nat Friedman a través de su fondo NFDG. La compañía ya ha recaudado un total de 55 millones de dólares en financiamiento, con una ronda de Serie A de 40 millones liderada por Ribbit Capital. Entre sus clientes se encuentran empresas como Cursor, Lovable, Harvey y ElevenLabs.
La estrategia de AIUC se diferencia de otras soluciones actuales al enfocarse en la evaluación de comportamiento realista de los agentes de IA, en lugar de solo medir su rendimiento técnico. Esto permite identificar posibles fallos o comportamientos peligrosos antes de que estos sean implementados en producción. Las auditorías generan informes detallados de aproximadamente 100 páginas que resumen tanto los puntos fuertes como las debilidades de cada agente.
Esta visión se alinea con las preocupaciones expresadas por líderes del sector, como Dario Amodei, CEO de Anthropic, quien ha advertido sobre la necesidad de frenar el desarrollo de modelos de IA de vanguardia sin garantizar su seguridad. En una publicación reciente, Amodei propuso que los laboratorios fronterizos utilicen evaluadores externos para supervisar los avances de sus modelos, mencionando incluso a METR como una posible opción.
La experiencia previa de Dattani en METR, donde trabajó como director ejecutivo entre 2024 y 2025, y su rol actual como miembro del consejo directivo, le otorga una visión única sobre los riesgos y desafíos del desarrollo ético de la IA. METR ha sido clave en investigaciones independientes relacionadas con incidentes como el de Hugging Face, y ha colaborado con OpenAI en el análisis de riesgos.
La metodología de AIUC representa una evolución natural en la gestión de riesgos tecnológicos, adaptando principios consolidados de seguridad cibernética a un nuevo paradigma digital. Al integrar inteligencia artificial en la evaluación y análisis, la empresa busca ofrecer una solución escalable y eficiente para las organizaciones que buscan implementar IA responsablemente.
Este enfoque podría ser fundamental para mitigar los riesgos asociados a la proliferación de agentes de IA autónomos en entornos corporativos. La compañía espera que su sistema se convierta en una herramienta indispensable para empresas que buscan mantener el control sobre sus sistemas de IA mientras aprovechan su potencial.
La llegada de AIUC al mercado marca un punto de inflexión en la forma en que las empresas evalúan y gestionan la seguridad de sus modelos de inteligencia artificial. Con un enfoque proactivo y basado en auditorías rigurosas, la empresa busca sentar las bases para una IA más segura y confiable en el futuro cercano.
Traducción y adaptación por Tecnología 365.
Fuente original: TechCrunch