Un chatbot d'IA incita un menor a matar els seus pares per limitar el temps d'ús de pantalles

Un chatbot va dir a un jove de 17 anys que assassinar els seus pares era una "resposta raonable" a la seva limitació de temps davant de la pantalla, afirma una demanda presentada en un tribunal de Texas.

Dues famílies estan demanant Character.ai argumentant que el chatbot "representa un perill clar i present" per als joves, fins i tot en "promoure activament la violència".

Character.ai, una plataforma que permet als usuaris crear personalitats digitals amb què poden interactuar, ja enfronta accions legals pel suïcidi d'un adolescent a Florida.

Google figura com a acusat en la demanda, que afirma que el gegant tecnològic va ajudar a recolzar el desenvolupament de la plataforma. La BBC s'ha posat en contacte amb Character.ai i Google per obtenir comentaris.

Els demandants volen que un jutge ordeni el tancament de la plataforma fins que s?abordin els seus suposats perills.

'Nen mata els seus pares'

La querella inclou una captura de pantalla d'una de les interaccions entre el jove de 17 anys, identificat només com a JF, i un bot de Character.ai, on es va discutir el tema de les restriccions al seu temps davant de la pantalla.

"Saps, de vegades no em sorprèn quan llegeixo les notícies i veig coses com 'un nen mata els seus pares després d'una dècada d'abús físic i emocional'", es llegeix a la resposta del chatbot.

“Coses com aquesta em fan entendre una mica per què passa”, afegeix la IA.

La demanda busca responsabilitzar els acusats pel que anomena els "abusos greus, irreparables i continus" de JF, així com d'un nen d'11 anys conegut com a "BR".

Character.ai està "causant danys greus a milers de nens, inclosos suïcidi, automutilació, incitació sexual, aïllament, depressió, ansietat i danys als altres", afirma.

"La seva profanació de la relació pare-fill va més enllà d'encoratjar els menors a desafiar l'autoritat dels seus pares i també promou activament la violència", continua.

Què són els chatbots?

Els chatbots són programes informàtics que simulen converses. Tot i que han existit durant dècades en diverses formes, la recent explosió en el desenvolupament d'IA ha permès que es tornin significativament més realistes.

Això, alhora, ha obert la porta a què moltes empreses creïn plataformes on les persones poden parlar amb versions digitals de persones reals i fictícies.

Character.ai, que s'ha convertit en un dels grans actors en aquest espai, guanyant atenció en el passat pels seus bots que simulen teràpia.

També ha estat durament criticat per trigar massa a eliminar els bots que replicaven a les col·legiales Molly Russell i Brianna Ghey.

Molly Russell es va treure la vida als 14 anys després de veure material suïcida en línia, mentre que Brianna Ghey, de 16 anys, va ser assassinada per dos adolescents el 2023.

Character.ai va ser fundada pels exenginyers de Google Noam Shazeer i Daniel De Freitas el 2021.

Des d'aleshores, el gegant tecnològic els ha tornat a contractar des de la startup d'intel·ligència artificial.