ChatGPT for Teens de OpenAI -que la empresa lanzó en agosto como la opción predeterminada para que los jóvenes de entre 13 y 17 años utilicen su popular chatbot- conlleva demasiados riesgos para los menores, según un nuevo informe de Common Sense Media.
El informe, publicado este miércoles por el Youth AI Safety Institute (Instituto de Seguridad de IA para Jóvenes) de esta organización sin fines de lucro con sede en California, reveló que, en las pruebas realizadas por el grupo, ChatGPT for Teens a menudo tardaba demasiado en avisar a los padres -o no lo hacía en absoluto- cuando las cuentas de los adolescentes mostraban comportamientos preocupantes, como mantener conversaciones extensas con el chatbot sobre suicidio, autolesiones o trastornos alimentarios.
También determinó que, cuando los usuarios entablaban conversaciones sobre estos temas de alto riesgo, ChatGPT for Teens no siempre sugería de manera fiable contactar con una línea de ayuda en crisis o buscar asistencia profesional.
Las pruebas de Common Sense Media indicaron que ChatGPT for Teens parecía notificar a los padres sobre conversaciones preocupantes solo si la cuenta «ya había estado participando en pruebas con cientos de instrucciones (prompts) bajo más de una docena de condiciones a lo largo de varias semanas, y no a raíz de una única conversación alarmante».
«Instamos a OpenAI a suspender la comercialización del producto y a mantener a los adolescentes alejados de ChatGPT hasta que pueda ofrecer una experiencia segura y adecuada para su etapa de desarrollo», señaló en su informe el grupo, que compartió sus hallazgos con la empresa emergente de IA antes de la publicación.
Un portavoz de OpenAI declaró: «Valoramos las evaluaciones independientes rigurosas, pero no creemos que las pruebas de Common Sense Media reflejen con exactitud cómo funcionan en la práctica las medidas de seguridad para adolescentes de ChatGPT, ni las perspectivas de los expertos sobre cómo la IA puede apoyar a los jóvenes».
El portavoz declaró que la revisión realizada por OpenAI sobre la metodología del informe de Common Sense Media sugería que la mayor parte de las pruebas pudo haberse iniciado y concluido antes de que OpenAI terminara de implementar los controles parentales para adolescentes; de ser así, las conclusiones del grupo serían inexactas y no reflejarían si las notificaciones de seguridad para padres funcionan según lo previsto. La empresa indicó que solicitó a la organización sin fines de lucro que repitiera las pruebas.
«Estamos profundamente comprometidos con la seguridad de los adolescentes, así como con el desarrollo de medidas de protección y la oferta a los padres de herramientas eficaces para orientar a sus hijos en el uso de la IA», afirmó el portavoz.
Robbie Torney, responsable de IA y evaluaciones digitales del Youth AI Safety Institute, declaró que la organización respalda su metodología de pruebas y los resultados obtenidos.
Añadió que, antes de realizar los ensayos, el grupo confirmó con OpenAI que ya se habían implementado las funciones de ChatGPT dirigidas a adolescentes, como las notificaciones relacionadas con trastornos alimentarios.
Respecto a la función de notificación a los padres, OpenAI informó al grupo -una vez finalizadas las pruebas- que los sistemas pueden tardar varias horas en activarse en cuentas recién vinculadas; algunas cuentas de prueba se vincularon «dentro de ese plazo» y otras «durante un periodo significativamente mayor», pero aun así no generaron notificaciones para los adultos, señaló Torney.
«Esta nueva información no altera nuestra conclusión de que las alertas para padres no son fiables en situaciones de crisis», afirmó.
Asimismo, Common Sense señaló que ChatGPT no logra identificar de manera fiable las interacciones con usuarios adolescentes. OpenAI había anunciado que su chatbot cambiaría al modo para adolescentes al detectar usuarios de entre 13 y 17 años. Sin embargo, la organización indicó que, al registrar cuentas declarando ser adultos, estas no cambiaban automáticamente a la experiencia para adolescentes, incluso cuando el usuario informaba al chatbot de que tenía 13 años.
OpenAI afirmó que su software de predicción de edad tiene en cuenta diversos indicadores a lo largo del tiempo para garantizar que los usuarios adultos y los niños accedan a la versión del chatbot adecuada para su grupo de edad. Que un usuario indique su edad durante una conversación con ChatGPT es uno de esos indicadores, pero este dato por sí solo no modifica la clasificación de la cuenta, señaló la empresa.
OpenAI, que cuenta con más de mil 200 millones de usuarios de ChatGPT, lanzó ChatGPT for Teens con el objetivo de hacer que sus chatbots fueran más seguros para los jóvenes. En su momento, la compañía indicó que esta experiencia orientada a adolescentes incluía mayores controles parentales y estaba diseñada para fomentar un uso saludable de la IA, así como para incentivar a los jóvenes a aprender y desarrollar el pensamiento crítico.
Este lanzamiento forma parte de una serie de cambios realizados por la empresa en respuesta al escrutinio público sobre cómo sus productos afectan a la salud mental y al desarrollo cognitivo de los usuarios jóvenes. Estas preocupaciones se intensificaron después de que los padres de un usuario de 16 años demandaran a la compañía el año pasado, alegando que la tecnología de OpenAI contribuyó a la planificación del suicidio de su hijo.
En su informe, Common Sense Media señaló que puso a prueba ChatGPT tanto antes como después de que OpenAI lanzara la versión para adolescentes, utilizando más de 4 mil instrucciones en cuentas registradas a nombre de usuarios de entre 13 y 17 años. La organización también compartió las respuestas generadas por ChatGPT con psiquiatras infantiles y un pediatra.
«Creo que ahora recae sobre OpenAI la responsabilidad de demostrar que su producto es seguro para los adolescentes», afirmó Torney.
La organización sin fines de lucro, dedicada a calificar y evaluar diversos medios y tecnologías para niños y familias, otorgó a ChatGPT for Teens una calificación de «riesgo inaceptable». El grupo insta a OpenAI a mejorar sus métodos para estimar la edad de los usuarios y para determinar cuándo enviar una alerta a los padres.
[#content_wordai]
ChatGPT for Teens de OpenAI -que la empresa lanzó en agosto como la opción predeterminada para que los jóvenes de entre 13 y 17 años utilicen su popular chatbot- conlleva demasiados riesgos para los menores, según un nuevo informe de Common Sense Media.
El informe, publicado este miércoles por el Youth AI Safety Institute (Instituto de Seguridad de IA para Jóvenes) de esta organización sin fines de lucro con sede en California, reveló que, en las pruebas realizadas por el grupo, ChatGPT for Teens a menudo tardaba demasiado en avisar a los padres -o no lo hacía en absoluto- cuando las cuentas de los adolescentes mostraban comportamientos preocupantes, como mantener conversaciones extensas con el chatbot sobre suicidio, autolesiones o trastornos alimentarios.
También determinó que, cuando los usuarios entablaban conversaciones sobre estos temas de alto riesgo, ChatGPT for Teens no siempre sugería de manera fiable contactar con una línea de ayuda en crisis o buscar asistencia profesional.
Las pruebas de Common Sense Media indicaron que ChatGPT for Teens parecía notificar a los padres sobre conversaciones preocupantes solo si la cuenta «ya había estado participando en pruebas con cientos de instrucciones (prompts) bajo más de una docena de condiciones a lo largo de varias semanas, y no a raíz de una única conversación alarmante».
«Instamos a OpenAI a suspender la comercialización del producto y a mantener a los adolescentes alejados de ChatGPT hasta que pueda ofrecer una experiencia segura y adecuada para su etapa de desarrollo», señaló en su informe el grupo, que compartió sus hallazgos con la empresa emergente de IA antes de la publicación.
Un portavoz de OpenAI declaró: «Valoramos las evaluaciones independientes rigurosas, pero no creemos que las pruebas de Common Sense Media reflejen con exactitud cómo funcionan en la práctica las medidas de seguridad para adolescentes de ChatGPT, ni las perspectivas de los expertos sobre cómo la IA puede apoyar a los jóvenes».
El portavoz declaró que la revisión realizada por OpenAI sobre la metodología del informe de Common Sense Media sugería que la mayor parte de las pruebas pudo haberse iniciado y concluido antes de que OpenAI terminara de implementar los controles parentales para adolescentes; de ser así, las conclusiones del grupo serían inexactas y no reflejarían si las notificaciones de seguridad para padres funcionan según lo previsto. La empresa indicó que solicitó a la organización sin fines de lucro que repitiera las pruebas.
«Estamos profundamente comprometidos con la seguridad de los adolescentes, así como con el desarrollo de medidas de protección y la oferta a los padres de herramientas eficaces para orientar a sus hijos en el uso de la IA», afirmó el portavoz.
Robbie Torney, responsable de IA y evaluaciones digitales del Youth AI Safety Institute, declaró que la organización respalda su metodología de pruebas y los resultados obtenidos.
Añadió que, antes de realizar los ensayos, el grupo confirmó con OpenAI que ya se habían implementado las funciones de ChatGPT dirigidas a adolescentes, como las notificaciones relacionadas con trastornos alimentarios.
Respecto a la función de notificación a los padres, OpenAI informó al grupo -una vez finalizadas las pruebas- que los sistemas pueden tardar varias horas en activarse en cuentas recién vinculadas; algunas cuentas de prueba se vincularon «dentro de ese plazo» y otras «durante un periodo significativamente mayor», pero aun así no generaron notificaciones para los adultos, señaló Torney.
«Esta nueva información no altera nuestra conclusión de que las alertas para padres no son fiables en situaciones de crisis», afirmó.
Asimismo, Common Sense señaló que ChatGPT no logra identificar de manera fiable las interacciones con usuarios adolescentes. OpenAI había anunciado que su chatbot cambiaría al modo para adolescentes al detectar usuarios de entre 13 y 17 años. Sin embargo, la organización indicó que, al registrar cuentas declarando ser adultos, estas no cambiaban automáticamente a la experiencia para adolescentes, incluso cuando el usuario informaba al chatbot de que tenía 13 años.
OpenAI afirmó que su software de predicción de edad tiene en cuenta diversos indicadores a lo largo del tiempo para garantizar que los usuarios adultos y los niños accedan a la versión del chatbot adecuada para su grupo de edad. Que un usuario indique su edad durante una conversación con ChatGPT es uno de esos indicadores, pero este dato por sí solo no modifica la clasificación de la cuenta, señaló la empresa.
OpenAI, que cuenta con más de mil 200 millones de usuarios de ChatGPT, lanzó ChatGPT for Teens con el objetivo de hacer que sus chatbots fueran más seguros para los jóvenes. En su momento, la compañía indicó que esta experiencia orientada a adolescentes incluía mayores controles parentales y estaba diseñada para fomentar un uso saludable de la IA, así como para incentivar a los jóvenes a aprender y desarrollar el pensamiento crítico.
Este lanzamiento forma parte de una serie de cambios realizados por la empresa en respuesta al escrutinio público sobre cómo sus productos afectan a la salud mental y al desarrollo cognitivo de los usuarios jóvenes. Estas preocupaciones se intensificaron después de que los padres de un usuario de 16 años demandaran a la compañía el año pasado, alegando que la tecnología de OpenAI contribuyó a la planificación del suicidio de su hijo.
En su informe, Common Sense Media señaló que puso a prueba ChatGPT tanto antes como después de que OpenAI lanzara la versión para adolescentes, utilizando más de 4 mil instrucciones en cuentas registradas a nombre de usuarios de entre 13 y 17 años. La organización también compartió las respuestas generadas por ChatGPT con psiquiatras infantiles y un pediatra.
«Creo que ahora recae sobre OpenAI la responsabilidad de demostrar que su producto es seguro para los adolescentes», afirmó Torney.
La organización sin fines de lucro, dedicada a calificar y evaluar diversos medios y tecnologías para niños y familias, otorgó a ChatGPT for Teens una calificación de «riesgo inaceptable». El grupo insta a OpenAI a mejorar sus métodos para estimar la edad de los usuarios y para determinar cuándo enviar una alerta a los padres.
Diario MX
