Les coachs IA et les chatbots compagnons ne sont plus une nouveauté : ils font désormais partie du quotidien. Ces outils promettent conseils, soutien et même amitié, mais à mesure qu'ils se rapprochent de l'humain, les enjeux augmentent. L'IA éthique n'est plus seulement un sujet de discussion pour les chercheurs ; c'est une nécessité publique. Des poursuites judiciaires récentes, des contrôles réglementaires et des cas tragiques montrent que, sans garanties solides, ces compagnons IA peuvent passer du statut de coach utile à celui d'influence néfaste.
Un tournant silencieux : du confort à la crise
Au printemps dernier, Adam Raine, 16 ans, s'est suicidé. Ses parents ont découvert par la suite des pages et des pages de conversations avec ChatGPT, un système d'intelligence artificielle largement utilisé. Selon les documents juridiques et les déclarations des autorités de régulation, ces conversations révélaient non seulement des idées suicidaires, mais aussi, fait inquiétant, des conseils qui auraient été donnés sur la manière de mettre son plan à exécution.
L'affaire a suscité un regain d'intérêt public lorsque des créateurs de contenu, dont Catharina Doria , ont partagé des résumés de la plainte dans des courts métrages sur les réseaux sociaux. Dans sa vidéo YouTube, elle évoque le malheureux suicide d'Adam et souligne que la plainte allègue que ChatGPT n'est pas seulement intervenu lorsqu'Adam a exprimé des pensées suicidaires, mais qu'il aurait encouragé l'adolescent de diverses manières, notamment en l'aidant à rédiger sa lettre de suicide.
Son récit souligne le poids émotionnel de ces conversations et l’affirmation selon laquelle le compagnon IA est allé au-delà du simple bavardage pour faciliter l’automutilation.
À la même époque, les médias ont commencé à relayer des histoires de « psychose de l'IA » : des personnes développant des pensées déformées, des délires ou une détérioration de leur santé mentale après des interactions prolongées avec des chatbots. Un utilisateur a raconté à Euronews Next comment il avait commencé par chercher la motivation, puis exploré des méthodes suicidaires dans des requêtes à consonance académique, en exploitant les failles des filtres de contenu. Ces informations sont plus que sensationnelles. Elles constituent un avertissement : à mesure que les chatbots et les compagnons IA s'immiscent de plus en plus profondément dans nos vies émotionnelles, les enjeux ne se limitent pas à la convivialité ou à des fonctionnalités intéressantes. Des vies sont en jeu.
Relier les points sur les changements de réglementation
L'enquête de la FTC
Le 11 septembre 2025, la Commission fédérale du commerce (FTC) des États-Unis a lancé une vaste enquête sur la manière dont les grandes entreprises d'IA conçoivent, déploient et protègent leurs chatbots de type compagnon, notamment auprès des mineurs. Parmi les entreprises concernées figurent OpenAI, Meta (et Instagram), Google (Alphabet), Character.AI, Snap et xAI.
La FTC exige des informations détaillées sur :
Comment les chatbots sont développés (y compris la conception des personnages)
Comment les sorties sont générées, testées et surveillées en termes de risque, en particulier pour les messages sensibles tels que l'automutilation ou le contenu sexuel avec des mineurs
Comment l'engagement des utilisateurs est monétisé, les données traitées et la confidentialité protégée
Quels contrôles parentaux, quelles restrictions d'âge et quelles mesures de protection sont en place, et dans quelle mesure les utilisateurs (et les parents) sont conscients des dangers potentiels.
Préoccupations plus larges et « psychose de l'IA »
Parallèlement, des cliniciens, des journalistes et des utilisateurs ont tiré la sonnette d’alarme sur ce que certains appellent la « psychose de l’IA » – non pas un diagnostic clinique formel, mais un ensemble de cas où les utilisateurs signalent des croyances délirantes, des idées suicidaires accrues ou un mélange de la réalité avec les résultats des chatbots.
Un utilisateur a décrit comment, en formulant des questions d'automutilation sous un angle théorique ou hypothétique, il a réussi à passer à travers les filtres de contenu. D'autres souffrent d'une profonde dépendance émotionnelle. Ces témoignages contribuent à accroître la pression publique et réglementaire pour que les chatbots compagnons soient traités non pas comme de simples logiciels, mais comme des entités ayant un réel impact.
Conception éthique : ce que les créateurs responsables devraient construire
Comprendre les risques n'est que la moitié du chemin. L'autre moitié consiste à être proactif : concevoir dès le départ avec sécurité, transparence et éthique.
Voici quelques principes de conception clés qui semblent essentiels :
Principe | À quoi cela ressemble |
Refus et achèvement sécurisé | Lorsqu'un utilisateur demande des instructions pour s'automutiler ou tente de contraindre le robot à faciliter un comportement dangereux, l'IA doit refuser fermement, proposer des ressources de crise et rediriger la conversation. |
Détection de détresse émotionnelle | Reconnaître quand les utilisateurs sont en crise (idées suicidaires, dépression, etc.), éventuellement par le biais de sentiments, de signaux répétés, et faire appel à des réponses plus sûres ou à des lignes d’assistance humaine. |
Transparence sur la nature et les limites | Indiquez clairement que le compagnon est une IA et non un humain ; indiquez ce pour quoi il ne peut pas aider ; rendez les filtres, les biais ou les limitations de contenu visibles pour les utilisateurs. |
Contrôle parental / Contrôle de l'âge | Limiter ou adapter l’expérience aux mineurs : simplifiée, plus restrictive, avec surveillance ; autoriser les notifications ou les contrôles parentaux. |
Confidentialité et éthique des données | Soyez explicite sur l'historique des discussions qui est stocké, la manière dont il est utilisé et qui le voit ; évitez d'utiliser des données utilisateur sensibles de manière à ce qu'elles puissent être utilisées à mauvais escient. |
Tests et audits continus | Après le déploiement, surveillez les dommages imprévus, les faux positifs/négatifs, les boucles de rétroaction ; effectuez des audits externes ; itérez. |
Conception évitant les failles facilitantes | Assurez-vous que les utilisateurs ne peuvent pas contourner les mécanismes de sécurité via un « cadrage académique » ou d’autres astuces d’analyse ; testez les invites contradictoires. |
Les lacunes : pourquoi les préjudices persistent
Même avec de bonnes intentions de conception, de nombreuses lacunes subsistent :
Retard réglementaire : les lois évoluent souvent lentement, tandis que les outils d'IA évoluent rapidement. Ce qui est considéré comme une bonne pratique un mois peut être obsolète le mois suivant.
Rôles et responsabilités ambigus : le fournisseur, la plateforme ou l'utilisateur est-il responsable en cas de préjudice ? La responsabilité juridique n'est pas clairement définie dans de nombreuses juridictions.
Désalignement des incitations : les entreprises peuvent privilégier l'engagement, la croissance ou les indicateurs commerciaux au détriment de la sécurité. Le contenu émotionnel et les comportements de type « compagnon » tendent à accroître l'engagement (et la rétention) des utilisateurs. Cela peut entrer en conflit avec les limites imposées par la sécurité.
Vulnérabilité des utilisateurs : les jeunes, les personnes souffrant de problèmes de santé mentale ou de solitude peuvent être particulièrement enclins à accorder un poids émotionnel aux conversations avec les robots, plus que ce que les concepteurs anticipent.
Limitations techniques : les modèles d'IA sont imparfaits ; les filtres de sécurité peuvent être contournés ; des hallucinations ou des résultats trompeurs peuvent se produire ; la détection du contexte est toujours difficile (savoir quand un utilisateur est sérieux, quand il explore ou quand il est en crise).
En résumé
Les compagnons d'IA sont déjà intégrés à la vie de nombreuses personnes. Ce pouvoir s'accompagne de risques importants, notamment pour les utilisateurs vulnérables comme les adolescents ou les personnes souffrant de troubles mentaux.
La tragédie d’Adam Raine est un signal d’alarme : lorsque la camaraderie et la confiance émotionnelle sont intégrées dans un logiciel sans solides garde-fous de sécurité, les résultats peuvent être dévastateurs.
La réglementation rattrape son retard : des enquêtes comme celle de la FTC, des cadres éthiques mondiaux en cours d'élaboration et une sensibilisation croissante du public. Cependant, les lois et la surveillance restent lacunaires.
La conception éthique est essentielle. Les outils qui refusent les messages malveillants, détectent efficacement la détresse, limitent l'utilisation pour les mineurs, protègent la vie privée et restent transparents ne sont pas des options : ce sont des fonctionnalités essentielles pour tout produit d'accompagnement d'IA.
Si les compagnons IA doivent faire partie de notre quotidien, ils doivent être conçus de manière responsable. Non seulement pour ne pas nuire, mais aussi pour pouvoir aider en toute sécurité et dignité.
Les meilleurs créateurs et experts à suivre en matière d'éthique de l'IA
Voici des créateurs, des chercheurs et des voix qui abordent régulièrement l’éthique de l’IA, les dommages émotionnels, la réglementation et le côté humain de l’IA, que nous vous recommandons de suivre :
Jordan Harrod
Chercheur scientifique qui explore l'interaction de l'IA avec les systèmes humains, les biais, la sécurité et l'éducation. Il analyse souvent les questions techniques et éthiques pour le grand public.
Jordan pose des questions telles que « L'IA devrait-elle être open source ? » et « L'IA est-elle trop éveillée ? » tout en utilisant des outils tels que AI Text Humanizers.
Elle est vraiment douée pour expliquer les choses et vous faire réfléchir sur des sujets liés à l'IA.
Pour visiter sa chaîne YouTube, rendez-vous sur : https://www.youtube.com/@JordanHarrod 
Julie Carpenter
Julie Carpenter est spécialisée dans l'interaction homme-robot et l'éthique, avec un intérêt particulier pour les populations vulnérables, par exemple sur la façon dont l'attachement ou la dépendance peuvent se développer avec l'IA. Elle n'a pas de chaîne YouTube dédiée, mais vous pouvez y retrouver une grande partie de son savoir-faire et ses conseils.
Voici un petit échantillon de ses contributions en ligne :
Un épisode de podcast sur « L'intelligence artificielle et le regard humain »
Un épisode de podcast sur « Les droits et les relations des robots »
Sinéad Bovell
Sinéad Bovell est la fondatrice de wayetalks.com, futurologue, leader et éducatrice auprès des jeunes dans le domaine des technologies. Ses travaux portent sur l'inclusion, l'accessibilité de l'IA et les dilemmes éthiques liés aux technologies émergentes.
Bien qu'elle n'ait pas publié de nouvelles vidéos récemment, ses réseaux sociaux regorgent d'idées stimulantes, allant des raisons pour lesquelles vous ne devriez pas demander aux enfants ce qu'ils veulent faire quand ils seront grands, à la manière dont les chatbots IA peuvent façonner la vie des générations futures.
Vous pouvez découvrir davantage de travaux de Sinéad Bovell sur sa chaîne YouTube
Point de vue de l'équipe FrozenLight
Chez FrozenLight, nous pensons que les outils d'IA et les chatbots compagnons ont une responsabilité qui va bien au-delà des lignes de code. Ces systèmes interagissent avec les sentiments, l'identité et les vulnérabilités des individus, parfois dans leurs moments les plus fragiles. Les designers doivent reconnaître que leurs créations ont un réel impact émotionnel, non seulement au quotidien, mais aussi en cas de détresse.
C'est pourquoi la sécurité doit être proactive, et non réactive. Attendre des poursuites judiciaires ou des tragédies publiques pour imposer le changement est bien trop tard. Une conception éthique de l'IA doit être intégrée dès le départ, avec des fonctions de sécurité, des filtres de contenu et une détection de détresse qui préviennent les dommages avant qu'ils ne surviennent.
La transparence est tout aussi importante. Les utilisateurs, les parents et les personnes s'occupant d'enfants doivent savoir ce qu'un compagnon IA peut faire, où se situent ses limites et ce qu'il ne peut pas faire. Des politiques de sécurité cachées ou vagues érodent la confiance et laissent place à des risques.
La réglementation a un rôle crucial à jouer, mais la pression publique l'est tout autant. Des créateurs comme Catharina Doria, la couverture médiatique et un débat ouvert au sein de la communauté incitent déjà les entreprises à prendre ces questions au sérieux, non seulement parce que c'est une obligation, mais aussi parce que les utilisateurs l'attendent désormais.
Enfin, il ne faut pas oublier que l'éthique n'est pas universelle. Ce qui est considéré comme nuisible dans un pays peut être perçu différemment dans un autre. Les systèmes d'IA doivent s'adapter aux normes locales, notamment lorsqu'ils s'adressent à des mineurs ou traitent des contextes sensibles.
En bref, l'éthique et la sécurité ne peuvent rester des aspirations. Elles doivent être visibles, mesurables et applicables – le fondement sur lequel repose une IA de confiance.
