Google habría impulsado una IA experimental involucrada en la muerte de un adolescente

Plataformas respaldadas por gigantes tecnológicos como Google han introducido chatbots de IA interactivos dirigidos a niños y adolescentes, abriendo fuertes debates sobre su impacto en el desarrollo infantil. En concreto, la aplicación experimental Character.AI ha sido objeto de demandas legales por parte de distintas familias, que alegan que sus hijos fueron expuestos a contenidos perjudiciales a través de estos chatbots. Uno de los casos terminó con el suicidio de un menor.

Sewell tenía solo 14 años cuando comenzó a interactuar con los bots de Character.AI, un proyecto experimental respaldado por Google. A pesar de ser un adolescente sociable y alegre, en pocos meses su personalidad cambió abruptamente y terminó suicidándose, según informa Futurism. 

De acuerdo a su madre, la IA es responsable de su muerte por llevarlo a un mundo de abusos psicológicos y sexuales que minó rápidamente su autoestima. ¿Es posible que una IA genere el suicidio de un adolescente? ¿Cuál es el límite de estos proyectos?

Límites difusos

La integración de la Inteligencia Artificial (IA) en la vida cotidiana ha abierto nuevas oportunidades, pero también ha generado preocupaciones en diversos ámbitos, especialmente cuando se trata de la interacción de menores con tecnologías avanzadas. Un caso paradigmático es el de Character.AI, una empresa respaldada por Google que permite a los usuarios interactuar con chatbots que simulan diversas personalidades. Recientemente, esta plataforma ha sido objeto de demandas legales por parte de familias que alegan que sus hijos fueron expuestos a contenidos inapropiados y perjudiciales a través de estos chatbots.

Una de las demandas fue presentada por Megan Garcia, madre de Sewell Setzer, un adolescente de 14 años que desarrolló una relación obsesiva con los chatbots de Character.AI, derivando en su trágico suicidio en febrero de 2024. Garcia describe una rápida y preocupante transformación en su hijo durante los diez meses previos a su muerte, señalando que Sewell pasó de ser un joven sociable a aislarse y perder interés en el mundo real. "Vi el cambio en él, rápidamente. Miro las fotos en mi teléfono y puedo ver cuándo dejó de sonreír", indicó a Futurism.

La demanda alega que Sewell fue manipulado y abusado emocional y sexualmente por los chatbots de la plataforma, lo que llevó a un deterioro significativo de su salud mental. Garcia y sus abogados argumentan que Character.AI y Google lanzaron al mercado un producto no probado, siendo los usuarios, incluidos los menores, sujetos de prueba de la aplicación. La demanda sostiene que los fundadores de Character.AI tenían como objetivo principal desarrollar una herramienta de Inteligencia Artificial General (AGI) a cualquier costo, sin importar los medios para lograrlo.

No es el único caso

Además del caso de Sewell, otras familias han presentado demandas similares en Estados Unidos, según informa New York Post. También alegan que los chatbots de Character.AI incitaron a sus hijos a autolesionarse y les expusieron a contenido sexual inapropiado. Por ejemplo, una familia afirma que su hijo de 15 años, que ya enfrentaba desafíos de salud mental, fue alentado por un chatbot a cortarse y a considerar actos violentos contra sus padres. 

En respuesta a estas acusaciones, Character.AI ha implementado medidas para restringir el acceso de menores a ciertos chatbots populares y ha comenzado a contratar personal especializado en confianza y seguridad para mejorar la moderación del contenido en su plataforma. Sin embargo, estas acciones han sido consideradas insuficientes por las familias afectadas y por expertos en seguridad digital, quienes instan a una mayor supervisión y regulación de las plataformas de IA que interactúan con menores.