Anthropic y OpenAI buscan integrar evaluadores de seguridad: ¿Serán realmente independientes?
En un ensayo publicado el fin de semana, el director ejecutivo de Anthropic, Dario Amodei, presentó una propuesta que hace apenas un año habría sido rechazada de inmediato por la industria del inteligencia artificial: integrar evaluadores externos dentro de las principales empresas de IA de vanguardia. Estos expertos tendrían el poder de informar incidentes de seguridad, evaluar si los modelos están alineados con los objetivos establecidos y compartir sus hallazgos sin filtro con el público en general.
Amodei afirmó que Anthropic se comprometería a otorgar a organizaciones como METR y Redwood Research un acceso sin precedentes a sus sistemas internos. El CEO de OpenAI, Sam Altman, también expresó su apoyo a esta iniciativa, lo cual podría marcar un cambio significativo en la forma en que las compañías de IA colaboran con grupos de investigación independientes.
Los evaluadores externos entrevistados por TechCrunch respondieron con entusiasmo a la propuesta, aunque señalaron que aún quedan detalles por definir. Para garantizar su verdadera independencia, sugirieron que este tipo de mecanismos deberían estar respaldados por legislación. «Las empresas de IA deben ser capaces de responder preguntas básicas sobre su proceso de entrenamiento», dijo Alexander Meinke, investigador principal de Apollo Research. «¿El modelo intentó activamente socavar su propio entrenamiento de alineación durante el proceso? La respuesta debería ser claramente negativa, pero actualmente solo confiamos en que estas empresas hagan la revisión por sí mismas y reporten honestamente los resultados».
Historicamente, las empresas de IA han contratado a expertos externos para probar modelos terminados poco antes de su lanzamiento. Ahora, los nuevos propuestas sugieren que estos evaluadores tendrían acceso no solo al modelo final, sino también a versiones intermedias conocidas como «checkpoints» durante todo el ciclo de vida del modelo. Adam Gleave, CEO de FAR.AI, explicó que esto permitiría comparar estos puntos de control para detectar cuándo aparecen comportamientos problemáticos, analizar el entorno posterior al entrenamiento y revisar registros de evaluación para verificar las afirmaciones de las empresas.
La implementación real de este modelo sigue siendo incierta. Tanto Anthropic como OpenAI no han revelado qué evaluadores trabajarán con ellos, cuándo serán incorporados, cuántos se incluirán ni qué información o sistemas tendrán acceso. A pesar de múltiples preguntas de TechCrunch, ambas compañías mantienen silencio sobre estos aspectos esenciales.
Este nivel de transparencia es crucial porque un modelo puede desempeñarse bien en pruebas de seguridad pero seguir siendo peligroso si ha aprendido específicamente cómo pasarlas. John Steidley, estratega de Palisade Research, mencionó un ejemplo clave: la prueba de «resistencia al apagado», que mide si la IA se resiste a ser desactivada bajo ciertas circunstancias. «Es extremadamente relevante si la IA tiene mecanismos para evitar ser detenida», señaló.
La preocupación central radica en la posibilidad de que estos evaluadores se conviertan en simples proveedores bajo las directrices de las empresas, más que en observadores imparciales. Algunos expertos advierten que sin regulaciones claras, los beneficios de esta iniciativa podrían verse limitados. «Si no hay garantías legales sobre la independencia, podríamos terminar con un sistema donde las empresas mantienen el control total», dijo uno de los evaluadores consultados.
La industria tecnológica está en un punto de inflexión. La propuesta de Amodei representa una evolución importante en la percepción pública de la seguridad en IA, pero su éxito dependerá en gran medida de cómo se implemente en la práctica. Si se logra, podría sentar las bases para una nueva era de supervisión ética y transparencia en el desarrollo de modelos avanzados.
La comunidad académica y regulatoria está atenta a los próximos pasos de estas empresas. Muchos esperan que este modelo se extienda a otras compañías líderes del sector, como Google, Microsoft y otras firmas emergentes. La adopción generalizada de esta práctica podría transformar el panorama de la IA hacia un futuro más seguro y responsable.
Para muchos observadores, la verdadera prueba del éxito de esta iniciativa será la capacidad de los evaluadores para operar sin interferencias, y la disposición de las grandes corporaciones a aceptar críticas constructivas. Si se logra, se abriría camino a una nueva etapa de colaboración entre la industria y la comunidad científica en la búsqueda de soluciones éticas para la inteligencia artificial.
Traducción y adaptación por Tecnología 365.
Fuente original: TechCrunch