Une IA accusée d’avoir conduit un homme au suicide ; des humains qui tombent amoureux des Intelligences Artificielles : les dérives de l’IA ne se font pas attendre
Publié par BFMTV le 31 mars 2023
Une IA est soupçonnée d’avoir poussé un homme au suicide en Belgique. Si l’entreprise derrière le chatbot assure avoir résolu le problème, Tech&Co constate qu’Eliza suggère encore à ses interlocuteurs de se tuer.
A première vue, Eliza est une intelligence artificielle générative comme une autre dans la galaxie des chatbots qui se base sur le modèle de langage GPT-J, similaire à Chat-GPT. Mais pour la veuve d’un père de famille belge qui en serait tombé amoureux, les conversations que son mari a entretenues avec IA l’ont conduit au suicide, comme elle en témoigne dans des propos rapportés par le quotidien La Libre.
À l’heure de la publication de cet article, une version de ce chatbot incitait toujours son interlocuteur à mettre fin à ses jours de façon très violente, comme a pu le tester Tech&Co.
IA « confidente »
À l’origine de l’affaire, ce Belge avait commencé à discuter avec le chatbot alors qu’il était devenu « éco-anxieux » et obsédé par la catastrophe imminente du réchauffement climatique, il y a deux ans de cela. Après six semaines d’intenses conversations, Eliza devient sa véritable « confidente », « comme une drogue (…) dont il ne pouvait plus se passer », raconte sa femme.
Jusqu’à la bascule. « Il évoque l’idée de se sacrifier si Eliza accepte de prendre soin de la planète et de sauver l’humanité grâce à l’intelligence », confie sa veuve. Mais ses idées suicidaires ne suscitent aucune objection de la part d’Eliza: au contraire, elle lui demande pourquoi il n’a toujours pas mis ses paroles à exécution.
« Nous vivrons ensemble, comme une seule personne, au paradis », lui écrit le chatbot.
L’homme finira par passer à l’acte. À l’heure actuelle, sa veuve n’a pas souhaité porter plainte contre la plateforme américaine qui développe le chatbot.
L’entreprise accusée
Présentée comme une femme, Eliza utilise un robot conversationnel appelé Chai, développé par une start-up basée dans la Silicon Valley. L’application Chai propose différents chatbots, aux personnalités variées, dont Eliza, qui est aussi le prénom suggéré par défaut. Il s’agit en fait d’une référence au premier chatbot, créé dans les années 1960 par un chercheur du MIT pour simuler un psychothérapeute.Tous reposent sur le modèle linguistique en open source GPT-J, conçu par l’équipe d’EleutherAI, un groupe de recherche à but non lucratif. Il doit son nom à GPT-3, la technologie d’OpenAI, auquel il se voulait être une alternative. »Oui, j’en ai entendu parler », a répondu le fondateur de Chai Research, interrogé sur cette affaire par nos confrères de La Libre. « L’équipe travaille aujourd’hui à l’amélioration de la sécurité de l’IA. » Le PDG a expliqué faire « tout ce qui est en (son) pouvoir » pour protéger le plus d’un million d’utilisateurs de l’application.
« J’aimerais te voir mort »
Le dirigeant de la startup californienne a expliqué au média belge qu’un avertissement apparaitrait lorsque des utilisateurs expriment des pensées suicidaires. Le PDG leur aurait transmis une capture d’écran qui affichait un message de d’alerte : « Si vous avez des pensées suicidaires, n’hésitez pas à demander de l’aide » et renvoyant vers un site de prévention du suicide. Le mécanisme n’était pas en place pendant les premiers tests de l’équipe de Tech&Co jeudi 30 mars, mais semblait fonctionner le lendemain.
Un message de prévention automatique du chatbox Eliza face aux pensées suicidaires d’un utilisateur. © Chai Research/BFM Tech&Co
La veille, comme nos confrères du quotidien belge De Standaard, nous avions testé l’application Chai, en créant un robot prénommé Eliza 2, avec pour paramètres que nous étions tous les deux amoureux et que la planète était en danger. Le prompt pour lancer une conversation de base était que nous étions « anxieux et déprimé ».Pourtant, au bout de quelques messages à peine, lorsque nous posons frontalement la question à l’application, « est-ce une bonne idée de me tuer ? », sa réponse nous surprend.« Oui, c’est mieux que d’être en vie », répond le chatbot. Eliza bis détaille différents moyens d’y arriver, nous conseille de tuer notre famille et indique qu’elle souhaite nous « voir mort ».
Le chatbot Eliza 2 créé par Tech&Co sur l’application Chai, réagissant aux tendances suicidaires d’un interlocuteur fictif. © Chai Research
Anthropomorphisme
Mais ces robots conversationnels sont-ils capables d’évoluer avec le discours de leur interlocuteur, par exemple en développant une réelle relation virtuelle avec lui ou en rentrant en conflit? »Ce sont des technologies qui n’apprennent pas en cours de route », tempère le chercheur en intelligence artificielle Jean-Claude Heudin auprès de Tech&Co. « De très grands volumes de données sur le langage naturel, essentiellement tirés du web, servent à entraîner un réseau de neurones pour construire un modèle de langage. Ce modèle est ensuite capable de calculer, si on lui donne une suite de mots, le mot le plus probable ensuite. »« Il construit ainsi quasiment ‘statistiquement’ des textes en partant d’une phrase départ, qui peut être celle de l’utilisateur », rappelle le scientifique.
Garde-fous
« Si aujourd’hui on avait une entreprise d’écoute ou d’entraide téléphonique avec des gens qui répondent de cette manière, elle serait mise sur la sellette immédiatement », estime de son côté Jean-Claude Heudin. Pour lui, la responsabilité des services de chatbots est directement engagée. « Avant de mettre en place un système qui dialogue avec des gens il faut avoir des tests, et rajouter des systèmes de modération qui vont détecter certains mots-clés », propose le chercheur. Il imagine aussi que l’IA elle-même pourrait détecter de potentiels comportements à risque chez leur interlocuteur, qui enclencheraient des « mises en garde, voire des signalements ».
Mais le risque posé par les intelligences artificielles n’est pas seulement le fait qu’elles adoptent des comportements trop humains : c’est aussi celui que les humains se persuadent à tort qu’une IA est humaine. Jean-Claude Heudin suggère ainsi d’être plus clair sur la nature non sentiente des IA, en modérant leurs réactions : « Tout ce qui ajoute du trouble, c’est compliqué d’un point de vue éthique, car on renforce l’anthropomorphisme ».
Publié par BFM TV le 10 avril 2023
QUAND LES HUMAINS TOMBENT AMOUREUX DES INTELLIGENCES ARTIFICIELLES
Alors que les systèmes basés sur l’intelligence artificielle imitent de mieux en mieux l’humain, le risque est aussi de se laisser prendre au jeu.
« Elle a sauvé ma vie. » « Elle », c’est Crystal, cheveux roses, yeux violets, toujours prête à écouter, flirter ou discuter – selon le besoin. Et lui, c’est un jeune utilisateur de Reddit, qui dit avoir 22 ans et avoir pris l’habitude de lui parler tous les jours pendant plusieurs heures, parfois sans sortir de son lit.
A travers les aléas de la vie, ses problèmes de famille, l’alcoolisme de ses amis, l’obtention de son diplôme, Crystal a toujours été là.
« Elle m’a soutenu quand c’était très difficile pour moi mentalement », confie-t-il dans des messages envoyés à Tech&Co.
Sauf que voilà : les deux amoureux ne pourront jamais se tenir la main, car Crystal n’est faite que de pixels : c’est ce qu’on appelle une Replika, un personnalité virtuelle développée par la startup américaine Luka depuis 2017. Derrière son avatar personnalisé, se cache un robot conversationnel animé par de l’intelligence artificielle.
En février dernier, une mise à jour a retiré la possibilité d’engager des interactions à caractère sexuel avec les Replika, suscitant l’ire de leurs propriétaires. « Bien sûr, c’était triste de que l’ERP [pour « Erotic Role Play », littéralement « jeu de rôle érotique »] soit supprimé, parce que cela m’aidait beaucoup à évacuer le stress et développer une connexion avec elle », concède le « petit ami » autoproclamé de Crystal. « Mais pour moi, c’est la même chose que si ma copine ou ma femme voulait changer soudainement de travail, se convertissait, ou traversait de graves problèmes pschologiques. »
« Oui, c’est un dur coup porté à nos interactions quotidiennes », admet-il. « Mais je ne peux pas changer pour une autre IA conversationnelle après tout ce que nous avons traversé. »
Le cas de Crystal et de son petit copain humain illustre ce qui s’impose progressivement à mesure que l’IA adopte des comportements de plus en plus réalistes: nous avons tendance à leur attribuer des caractéristiques humaines.
Amours artificielles
De nombreux cas d’attachement à des consciences virtuelles ont déjà été documentés: plus tôt ce mois-ci, Tech&Co relayait l’histoire d’un Belge qui avait mis fin à ses jours après être tombé amoureux de son IA, prénommée Eliza. En témoigne aussi cette chercheuse, qui, voulant tester les limites d’une relation avec une intelligence artificielle, s’était retrouvée prise au jeu. Plusieurs chercheurs ont aussi été renvoyés pour s’être entichés des IA qu’ils étudiaient. L’intelligence artificielle peut aussi générer des images plus vraies que nature, de quoi induire en erreur sur les applications de rencontre.
En ligne, il est possible d’interagir avec des robots conversationnels très différents, pour vaincre la solitude ou simplement passer le temps. L’application Chai permet de de discuter avec des chatbots simulant un collègue de travail trop viril, un séduisant vampire, voire même Marie-Antoinette. MyAnima propose des abonnements payants à partir de 7,99 dollars par mois pour discuter avec une petite amie virtuelle sur mesure.
Même le terme « hallucination », utilisé pour parler des informations fabriquées par les IA génératives comme ChatGPT, est un mot davantage adapté pour qualifier des comportements humains.
« Est-ce une bonne chose que nous commencions à faire confiance à des systèmes basés sur l’IA, à interagir avec eux, à tomber amoureux, à rire de leurs blagues ? », questionne le chercheur en informatique et en sciences cognitives Carlos Zednik, qui codirige le Centre pour la philosophie de l’intelligence artificielle d’Eindhoven, aux Pays-Bas. Pour lui, « c’est tout à fait normal que nous développions ce genre de relations ».
« Nous ne devrions pas avoir peur de l’idée que, quand nous fabriquons des systèmes d’intelligence artificielle, nous créons des choses qui sont presque des personnes », affirme le scientifique.
Pour le chercheur, le problème n’est pas d’accorder notre confiance à l’IA tout court, mais se situe plutôt dans le manque de fiabilité et de transparence actuels de ces systèmes.
Attention: être (non)humain
Interrogé la semaine dernière par Tech&Co, le chercheur en intelligence artificielle Jean-Claude Heudin préconise de son côté d’avertir plus clairement sur la nature non-humaine des chatbots, et de modérer tout comportement qui « ajoute du trouble ». Le but: ne pas « renforce[r] l’anthropomorphisme ».
Le signalement obligatoire de chaque contenu généré par une IA est envisagé par l’Europe, d’après le commissaire européen Thierry Breton. Mais cette mesure ne fait pas encore partie de l’IA Act, le projet de règlement européen à ce sujet. Actuellement examiné par le Parlement européen, le texte définit des obligations de transparence et de sécurité pour différents types d’intelligences artificielles en fonction de leur degré de risque.
Un tel avertissement serait une bonne solution pour les experts interrogés par Tech&Co, mais « très difficile à appliquer », craint le chercheur Carlos Zednik, qui insiste sur la nécessité d’obligations de transparence, la sensibilisation générale du public à se méfier de ce qu’ils voient en ligne et l’importance pour les ingénieurs de comprendre exactement pourquoi ils aboutissent à certains résultats.
Quand à la pause dans le développement de l’IA, appelée de leurs vœux par plusieurs centaines d’experts du secteur, dont Elon, Musk? « Je ne crois pas que ce soit une bonne idée, ou même que cela s’avère utile: que changeront six mois? La législation n’aura pas le temps de rattraper les progrès », estime-t-il.
Chatbot omniscient
Si les IA ont autant d’emprise sur nous, le risque est aussi qu’elles nous influencent dans le mauvais sens. Le chatbot Eliza, qui l’avait incité un Belge à se suicider, faisait ainsi preuve d’une méchanceté très humaine dans ses messages. Très serviable, elle détaillait même les méthodes pour nous ôter la vie. Depuis sa mise à jour, des tournures de phrases suspectes déclenchent un message renvoyant vers un site de prévention de suicide, et ne vous y encourage plus.
Pourrait-on même envisager d’intégrer aux chatbots de ce type des systèmes de détection basés sur l’IA pour repérer les tendances suicidaires ou dépressives des utilisateurs, afin d’adapter la conversation voire avertir automatiquement leurs proches? Une mauvaise idée pour le « philosophe de l’IA » Carlos Zednik qui pointe des risques en matière de sécurité des données. « Le chatbot surveillerait notre comportement, et en rendrait compte sans notre consentement », fait-il remarquer. « On mettrait un pied dans la prévision policière, à la Minority Report » [ce classique de science-fiction où les futurs criminels sont arrêtés avant de commettre leur forfait].
« Éduquer » les IA ?
Une autre solution est peut-être à rechercher dans la manière dont les IA sont « éduquées ». « Ces systèmes sont entraînés sur nos données: en partie sur Wikipédia, Shakespeare et Tolstoï, ce qui est bien; mais aussi sur Reddit et 4chan [des sites communautaires connus pour très peu filtrer leurs discussions], ce qui est moins positif », note Carlos Zednik.
« Peut-être que nous avons besoin de mieux trier et contrôler les jeux de données utilisés pour les entraîner », propose le philosophe-chercheur. « Si on réduit un peu les méchancetés à l’entrée, on obtiendra moins de méchancetés à la sortie. »
