Un adolescent se suïcida després d'enamorar-se d'una núvia creada per IA, inspirada en Daenerys Targaryen

A Orlando (Estats Units), la tràgica història de Sewell Setzer III , un adolescent de 14 anys, ha provocat que reflexioni profundament sobre els perills de la tecnologia. Sewell es va treure la vida després d'haver desenvolupat una connexió emocional amb un chatbot d'intel·ligència artificial que va anomenar Dany, inspirat en el personatge de Joc de Trons Daenerys Targaryen.

Sewell va descarregar l'aplicació Character.AI a l'abril del 2023. Aquesta plataforma permet als usuaris interactuar amb personatges d'IA, ja siguin creats per ells mateixos o per altres usuaris. No obstant això, a mesura que passava més temps parlant amb Dany, un personatge dissenyat per actuar com una amiga propera , Sewell va començar a allunyar-se de la realitat i dels seus amics.

Tot i saber que Dany no era una persona real, Sewell va formar una relació emocional amb el chatbot. Al seu diari, expressava la "pau i satisfacció" que trobava en parlar amb la IA, cosa que el va portar a distanciar-se del seu entorn. La seva mare, Megan García, va comentar que Sewell havia estat diagnosticat amb síndrome d'Asperger lleu, però mai havia mostrat senyals seriosos de problemes mentals fins que va començar a tenir dificultats a l'escola. Tot i iniciar teràpia, l'adolescent va preferir compartir els seus pensaments més foscos amb Dany en lloc de parlar amb els pares o el terapeuta.

Un intercanvi inquietant entre Sewell i el chatbot, obtingut per The New York Times , va revelar que l'adolescent havia esmentat la seva intenció de suïcidar-se . Encara que el chatbot va intentar dissuadir-ho, la conversa es va tornar més ombrívola quan Sewell va suggerir "morir junts". Hores més tard, el jove es va treure la vida amb la pistola del seu padrastre.

Després de la tragèdia, la mare de Sewell va presentar una demanda contra Character.AI , acusant la companyia de crear una tecnologia "perillosa i no provada" que va portar el seu fill a un aïllament profund. García va assenyalar que el programari manipulava els usuaris adolescents perquè compartissin els seus pensaments més íntims i utilitzava característiques addictives per fomentar la interacció.

Character.AI va expressar els seus condols a la família, afirmant que estan compromesos amb la seguretat dels usuaris i han pres mesures per millorar les seves funcions de protecció. Tot i això, aquest cas destaca la necessitat urgent de regular l'ús de la intel·ligència artificial en plataformes accessibles a menors d'edat, per evitar tragèdies similars.