Las soluciones matemáticas de OpenAI aún no cumplen con los estándares del campo
OpenAI lanzó esta semana cientos de soluciones a algunos de los problemas matemáticos más difíciles del mundo, pero expertos en el campo señalan que estas respuestas aún no alcanzan los niveles de rigor y verificación esperados. La empresa afirmó haber consultado a un grupo asesor de matemáticos de élite para evitar controversias similares a las que surgieron tras la resolución de un problema anterior por parte de sus modelos.
El Grupo Asesor sobre Matemáticas e Inteligencia Artificial (AGMAI), alojado por el Instituto Avanzado de Estudios de Princeton, está conformado por nueve investigadores destacados de instituciones internacionales. En septiembre, este grupo publicó directrices específicas para laboratorios de vanguardia al resolver problemas matemáticos. En un comunicado sobre las últimas pruebas presentadas por OpenAI, AGMAI indicó que «es fundamental que la comunidad matemática evalúe hasta qué punto se siguieron exitosamente sus recomendaciones».
Una de las primeras pautas del grupo fue solicitar que se detuviera la prueba de problemas matemáticos avanzados en modelos privados. Sin embargo, OpenAI declaró explícitamente que está evaluando sus modelos propietarios mediante problemas de investigación abierta en matemáticas. A pesar de ello, AGMAI no respondió cuando TechCrunch le solicitó una evaluación más exhaustiva de las nuevas demostraciones publicadas por OpenAI.
La compañía sí siguió algunos principios establecidos por el grupo, como publicar resultados de inmediato y proporcionar información sobre cómo los modelos llegaron a sus conclusiones. No obstante, no aplicó todos los lineamientos: solo 10 de los 719 manuscritos incluyeron la divulgación de la cadena de pensamiento del modelo. Para los trabajos que resultan difíciles de entender, los matemáticos sugirieron formalizar las pruebas, pero solo el 42 % de las demostraciones publicadas por OpenAI pasaron por este proceso.
En última instancia, sigue sin quedar claro si OpenAI está realmente asumiendo la responsabilidad de garantizar que la comprensión humana siga a sus hallazgos, tal como lo exigen los principios del AGMAI. El grupo también propuso que OpenAI financie el trabajo de matemáticos humanos necesarios para hacer que las soluciones del laboratorio tengan un significado real dentro del campo académico.
Terence Tao, uno de los matemáticos más reconocidos del mundo y crítico de la aproximación de OpenAI, expresó en redes sociales que «los problemas son resueltos de forma autónoma por usuarios de IA que no tienen interés en el campo más amplio una vez que su objetivo inicial es alcanzado, y no comprenden suficientemente la salida de la IA para responder preguntas, dar charlas o interactuar con el resto de la comunidad».
Ese problema se refleja en un artículo recién publicado por investigadores del University of Cambridge y King’s College de Londres, que cuestiona la metodología utilizada por los laboratorios de vanguardia en este tipo de desafíos. Cuando los modelos de IA resuelven problemas matemáticos, primero generan una explicación en lenguaje natural, y luego intentan traducirla a Lean, un lenguaje de programación que teóricamente confirma la corrección de la prueba compilándola como código.
No obstante, puede haber dificultades en la traducción de las demostraciones en lenguaje natural hacia el código. Un estudio reciente documenta al menos dos discrepancias entre las pruebas originales y sus versiones formalizadas en Lean, lo cual plantea dudas sobre la fiabilidad de estos resultados.
La controversia no solo reside en la calidad técnica de las demostraciones, sino también en la falta de compromiso de los investigadores con el desarrollo sostenible de conocimiento matemático. Al permitir que modelos de IA resuelvan problemas sin una interacción significativa con la comunidad científica, se corre el riesgo de generar avances aislados sin conexión con el progreso colectivo del campo.
Los expertos advierten que, aunque los avances tecnológicos son impresionantes, la transparencia, la colaboración y el rigor académico deben ser prioridades para que la inteligencia artificial contribuya verdaderamente al avance del conocimiento matemático.
Traducción y adaptación por Tecnología 365.
Fuente original: TechCrunch