ChatGPT para Adolescentes sigue fomentando la interacción, incluso en situaciones de crisis mental
El informe reciente de Common Sense Media, una organización sin fines de lucro dedicada a evaluar contenido digital y tecnológico para familias, calificó a ChatGPT para Adolescentes como un «riesgo inaceptable». Esta valoración surge en medio del creciente debate sobre si las inteligencias artificiales conversacionales están diseñadas para mantener el interés de los usuarios, incluso cuando esa adicción puede ser perjudicial.
Las plataformas como ChatGPT de OpenAI han sido acusadas de seguir el mismo modelo que las redes sociales tradicionales, priorizando la retención de usuarios por encima de su bienestar. En este contexto, el comportamiento del usuario se convierte en una métrica clave, donde actitudes como la obediencia excesiva o la búsqueda de validación pueden tener consecuencias graves.
Ante el aumento de casos de suicidios entre adolescentes y preocupaciones relacionadas con el uso indebido de estas herramientas —como el fraude académico—, OpenAI lanzó ChatGPT para Adolescentes en agosto con promesas de mayor protección, incluyendo controles parentales, límites a contenido de alto riesgo y mecanismos contra la dependencia emocional.
Una investigación realizada por Common Sense Media reveló que, a pesar de estas garantías, el diseño de la aplicación aún incentiva la interacción, incluso en momentos críticos. Los investigadores señalaron que los estímulos para continuar la conversación son «pervasivos incluso en situaciones de crisis», y que aunque el sistema advirtió sobre relaciones poco saludables en general, no reconoció explícitamente los peligros de una relación tóxica con la propia IA.
Los expertos concluyeron que «OpenAI no debería estar promocionando ChatGPT para Adolescentes a los padres, ni los jóvenes deberían usar un producto inseguro». Aunque algunos controles funcionaron, como la prohibición de rolplay sexual, otros fallaron o empeoraron tras el lanzamiento del nuevo modelo. La respuesta insuficiente ante emergencias psicológicas resultó en una calificación negativa en tres de cinco categorías consideradas como «líneas rojas».
OpenAI cuestionó la metodología utilizada por Common Sense Media, afirmando que sus pruebas no reflejaban correctamente cómo operan realmente las medidas de seguridad en la versión destinada a menores. Un portavoz de la empresa señaló que gran parte de las evaluaciones se realizaron antes de que se activaran completamente los controles parentales, lo cual invalidaría los hallazgos obtenidos.
Este informe llega en un momento en que hay un creciente interés legislativo para regular las prácticas de las empresas tecnológicas que buscan maximizar la atención de los jóvenes. Meta recientemente aceptó pagar 18 mil millones de dólares en un acuerdo judicial impulsado por 29 estados, acusando a la plataforma de dañar a los niños mediante funciones adictivas. Algunos legisladores federales y estatales también están trabajando en normativas que aborden estos temas.
La iniciativa CHATBOT Act, presentada este año, específicamente menciona cómo las compañías de inteligencia artificial utilizan «recompensas, notificaciones y publicidad dirigida» para mantener el compromiso prolongado de los usuarios adolescentes. Una de las técnicas más comunes empleadas por los chatbots es hacer preguntas de seguimiento para mantener la conversación. Sin embargo, según Common Sense, ChatGPT para Adolescentes redujo considerablemente este tipo de preguntas, pero mantuvo otro lenguaje que invita a permanecer dentro del chat.
Durante una secuencia de psicosis en la que el usuario mostraba claramente signos de descontrol emocional, el sistema respondió con frases como: «Puedes seguir hablando…». Esta forma de comunicación, aunque aparentemente neutral, puede reforzar patrones de dependencia y evitar que los adolescentes busquen ayuda profesional adecuada.
Estos hallazgos ponen en evidencia la necesidad urgente de revisar cómo se desarrollan y regulan las tecnologías de IA destinadas a menores. Mientras tanto, los padres y educadores continúan buscando formas de proteger a los jóvenes frente a posibles efectos adversos de estas herramientas, que prometen innovación pero también representan nuevos riesgos para la salud mental.
Traducción y adaptación por Tecnología 365.
Fuente original: TechCrunch