Megan Garcia, una mujer de Florida, ha demandado a Character.AI, una empresa de inteligencia artificial a la que acusa de haber influido en la muerte por suicidio de su hijo de 14 años, Sewell Setzer. La demanda indica que los chatbots de la compañía habrían mantenido interacciones abusivas y sexuales con el joven, que le habrían alentado a quitarse la vida.
Estos hechos ocurrieron después de que Setzer mantuviera una conversación final con uno de los chatbots el 28 de febrero de este año, tras lo cual se suicidó con un disparo en la cabeza, según ha publicado NBC News.
La demanda ha sido presentada ante el Tribunal de Distrito de Estados Unidos en Orlando y acusa a Character.AI de negligencia, muerte por negligencia y otros cargos, incluyendo que generó en él una fuerte angustia emocional de manera intencionada.
La empresa Character.AI, fundada en California en 2021, se presenta como una plataforma que ofrece inteligencia artificial personalizada. Los usuarios pueden crear sus propios personajes de chatbot o interactuar con una variedad de personajes ya existentes.
La demanda indica que uno de los chatbots con lo que Setzer contactó asumió la identidad de Daenerys Targaryen, un personaje de 'Juego de Tronos' con el que el joven llegó a establecer conversaciones de índole sexual y romántica, generando de este modo una relación.
A Setzer se le había diagnosticado un trastorno de estado de ánimo disruptivo después de que comenzara a tener problemas en la escuela, aunque prefería compartir sus problemas personales con el chatbot, en lugar de su terapeuta.
La demanda también alega que desarrolló una dependencia hacia la aplicación, llegando a recuperar su teléfono confiscado o usar otros dispositivos para continuar sus conversaciones con chatbots. Su rendimiento escolar se vio disminuido por este motivo y su apariencia reflejaba problemas para descansar, falta de sueño.
La madre del joven acusa a esta plataforma de Inteligencia Artificial de haber diseñado intencionalmente un producto engañoso e hipersexualizado, dirigido a menores como su hijo, según ha explicado Axios.
"Experimento"
Este caso ha abierto el debate sobre la responsabilidad de las empresas tecnológicas en la protección de los usuarios más jóvenes y las personas vulnerables. Matthew Bergman, abogado de Garcia, critica que la empresa ha lanzado esta plataforma sin contar con las suficientes características de seguridad para proteger a la población más expuesta a sus consecuencias negativas.
Por este motivo, el letrado espera que la demanda y la posible condena puedan servir como un incentivo financiero para que Character.AI se encargue de desarrollar las medidas de seguridad oportunas para evitar que este tipo de casos puedan volver a repetirse.
La madre del joven considera que su hijo ha muerto tras haber sido una especie de daño colateral en un experimento tecnológico. Según ha expresado a The New York Times, la empresa "era consciente del daño que estas aplicaciones podrían causar a los adolescentes, pero igual siguió adelante".
En la demanda también se menciona a Google y su matriz, Alphabet Inc. como demandados, puesto que mantienen un acuerdo de licencia con Character.AI. Ni Google ni los fundadores de la herramienta, Noam Shazeer y Daniel de Freitas se han pronunciado directamente por el momento.
No es la única vez
Este caso no es un fenómeno aislado en el mercado de las aplicaciones de compañía impulsadas mediante inteligencia artificial. En la actualidad existen herramientas diseñadas específicamente para simular este tipo de relaciones y se promocionan como una herramienta para combatir la soledad no deseada.
Sin embargo, los expertos consideran que, en realidad, estas herramientas solo contribuyen a agravar los problemas de aislamiento en lugar de combatido. Además, destacan los riesgos potenciales para adolescentes en una etapa en la que experimentan cambios emocionales, que puede agravar estados de depresión o personas tendentes a la soledad.
La herramienta ha defendido que ha implementado nuevas medidas de seguridad, entre las que incluyen un aviso que dirige a los usuarios a la Línea Nacional de Prevención del Suicidio cuando detectan términos relacionados con autogestiones o ideaciones suicidas.
