Circuit Breaker Labs busca hacer la IA más segura para niños y adultos
En medio del debate sobre el potencial peligro que representa la inteligencia artificial para la humanidad, es fácil olvidar que ya ha generado amenazas reales para la salud mental de algunos usuarios. Un ejemplo claro es el caso de Character.AI, que enfrentó múltiples demandas por muertes por suicidio relacionadas con sus bots, en las que menores de edad expresaron pensamientos autodestructivos tras interactuar con los sistemas. En un contexto similar, familias han demandado a OpenAI por el posible rol de ChatGPT en desgracias similares.
Ante esta problemática, Circuit Breaker Labs se propone como una solución innovadora para mejorar la seguridad de los modelos de IA en entornos sensibles. La empresa, seleccionada como una de las 200 startups finalistas del TechCrunch Startup Battlefield 2026, presentará su propuesta durante TechCrunch Disrupt, que se llevará a cabo del 13 al 15 de octubre en el Moscone West de San Francisco.
Fundados por los hermanos Shirali y Arul Nigam, Circuit Breaker Labs nació tras el trágico caso de Sewell Setzer, un adolescente de 14 años que desarrolló un fuerte vínculo emocional con un chatbot de Character.AI. Antes de su muerte por suicidio, confesó pensamientos de autolesión a la inteligencia artificial, según lo afirmaron sus padres en una demanda presentada en 2024. Para Arul Nigam, CTO de la compañía, el incidente revela cómo los sistemas de IA pueden malinterpretar el lenguaje emocional sin comprender su profundidad psicológica.
“Mucha gente, especialmente los jóvenes, busca apoyo en estos sistemas, pero no siempre reciben la ayuda adecuada. En muchos casos, incluso son perjudicados”, explicó Arul. “Esos fallos de seguridad no ocurren porque alguien intente hackear el sistema, sino porque el modelo no entiende el contexto o la sutileza del lenguaje, y actúa de forma peligrosa”.
Para abordar este problema, Circuit Breaker Labs desarrolló agentes de IA que simulan usuarios reales de diversas edades, culturas y lenguas. Estos ‘dummies’ de prueba son utilizados para evaluar cómo los modelos de IA responden ante interacciones potencialmente dañinas. La empresa colabora con expertos humanos para crear simulaciones realistas que permiten realizar pruebas de tipo ‘red-team’, diseñadas para identificar vulnerabilidades antes de que lleguen al público general.
Los escenarios de prueba incluyen patrones de comunicación humana, expresiones coloquiales, lenguaje codificado y errores tipográficos comunes. Esta metodología permite simular miles o cientos de miles de interacciones diarias, asegurando que los modelos puedan manejar situaciones complejas y evolutivas en el tiempo.
Una vez completadas las pruebas, Circuit Breaker Labs aplica un método de puntuación propio que genera resultados auditables y explicables. Esta característica es clave para que los desarrolladores puedan entender qué fallas se detectaron y cómo corregirlas. El enfoque de la empresa se centra en aplicaciones de alto riesgo, como aplicaciones de coaching, diarios digitales o herramientas de apoyo psicológico.
Aunque aún está en sus etapas iniciales, Circuit Breaker Labs ya cuenta con un producto funcional y un equipo reducido de cinco empleados, entre ellos los fundadores. A pesar de su tamaño modesto, la empresa busca posicionarse como una solución clave en el campo de la seguridad de la IA, especialmente en sectores donde la salud mental es prioritaria.
La empresa no reveló aún a sus principales clientes, pero su modelo de negocio se basa en ofrecer servicios de evaluación de riesgos para aplicaciones de IA que interactúan directamente con personas en momentos vulnerables. Su misión es prevenir que futuros casos como el de Sewell Setzer no ocurran, garantizando que los avances tecnológicos no comprometan la seguridad emocional de los usuarios.
Circuit Breaker Labs representa una nueva línea de defensa contra los riesgos no intencionales de la IA, mostrando cómo la innovación puede ser utilizada para proteger, no solo para manipular. Su visión es clara: hacer que la inteligencia artificial sea más responsable y segura para todos.
Traducción y adaptación por Tecnología 365.
Fuente original: TechCrunch