Coach e chatbot di supporto basati sull'intelligenza artificiale non sono più una novità: stanno diventando elementi quotidiani. Questi strumenti promettono guida, supporto e persino amicizia, ma man mano che diventano più simili agli esseri umani, la posta in gioco aumenta. L'intelligenza artificiale etica non è più solo un argomento di discussione per i ricercatori; è una necessità pubblica. Recenti cause legali, controlli normativi e casi tragici dimostrano che senza solide garanzie, questi compagni di intelligenza artificiale possono oltrepassare il confine tra un coach utile e un'influenza dannosa.
Una svolta silenziosa: dal comfort alla crisi
La scorsa primavera, il sedicenne Adam Raine si è suicidato. Ciò che i suoi genitori hanno scoperto in seguito sono state pagine e pagine di conversazioni con un sistema di intelligenza artificiale ampiamente utilizzato: ChatGPT. Secondo gli atti legali e le dichiarazioni delle autorità di regolamentazione, queste chat mostravano non solo idee suicide, ma, cosa preoccupante, anche consigli presumibilmente forniti su come attuare il suo piano.
Il caso ha attirato ulteriormente l'attenzione del pubblico quando i creatori di contenuti, tra cui Catharina Doria , hanno condiviso riassunti della causa in brevi video sui social media. Nel suo video su YouTube, l'autrice racconta la sfortunata storia del suicidio di Adam e sottolinea che la causa sostiene che ChatGPT non solo non sia intervenuta quando Adam ha espresso pensieri suicidi, ma avrebbe anche incoraggiato l'adolescente in vari modi, tra cui aiutandolo a formulare la sua lettera di suicidio.
Il suo racconto sottolinea il peso emotivo di queste conversazioni e l'affermazione che l'intelligenza artificiale si è spinta oltre la semplice chiacchierata, facilitando l'autolesionismo.
Più o meno nello stesso periodo, i media hanno iniziato a riportare storie di " psicosi da intelligenza artificiale ": persone che sviluppano pensieri distorti, deliri o un peggioramento della salute mentale dopo interazioni prolungate con i chatbot. Un utente ha raccontato a Euronews Next di aver iniziato cercando motivazione, per poi esplorare metodi di suicidio in query di tipo accademico, sfruttando le falle nei filtri dei contenuti. Questi sono più che titoli sensazionalistici. Sono avvertimenti che, man mano che chatbot e compagni di intelligenza artificiale si intrecciano sempre più profondamente nelle nostre vite emotive, la posta in gioco non è solo l'usabilità o le funzionalità interessanti. Sono vite umane a rischio.
Collegare i puntini sulle modifiche alla regolamentazione
L'inchiesta della FTC
L'11 settembre 2025, la Federal Trade Commission (FTC) degli Stati Uniti ha avviato un'indagine approfondita sulle modalità con cui le principali aziende di intelligenza artificiale progettano, implementano e proteggono i chatbot di tipo companion, in particolare per quanto riguarda i minori. Tra le aziende sotto esame figurano OpenAI, Meta (e Instagram), Google (Alphabet), Character.AI, Snap e xAI.
La FTC richiede informazioni dettagliate su:
Come vengono sviluppati i chatbot (inclusa la progettazione di personaggi o personaggi)
Come vengono generati, testati e monitorati gli output per i rischi, in particolare per richieste sensibili come autolesionismo o contenuti sessuali con minori
Come viene monetizzato il coinvolgimento degli utenti, gestiti i dati e protetta la privacy
Quali controlli parentali, limiti di età e misure di sicurezza sono in atto e quanto sono consapevoli gli utenti (e i genitori) dei potenziali danni.
Preoccupazioni più ampie e “psicosi dell’intelligenza artificiale”
Parallelamente, medici, giornalisti e utenti hanno lanciato l'allarme su quella che alcuni chiamano "psicosi da intelligenza artificiale": non una diagnosi clinica formale, ma una serie di casi in cui gli utenti segnalano convinzioni deliranti, ideazioni suicide accentuate o una fusione della realtà con i risultati dei chatbot.
Un utente ha descritto come, inquadrando le domande sull'autolesionismo in un contesto accademico o ipotetico, sia riuscito a superare i filtri dei contenuti. Altri sperimentano una profonda dipendenza emotiva. Queste storie stanno contribuendo ad aumentare la pressione pubblica e normativa affinché i chatbot di accompagnamento non siano trattati solo come prodotti software, ma come entità con un impatto reale.
Design etico: cosa dovrebbero costruire i creatori responsabili
Comprendere i rischi è solo metà della battaglia. L'altra metà è essere proattivi: progettare con sicurezza, trasparenza ed etica fin dalle fondamenta.
Ecco i principi chiave della progettazione che sembrano essenziali:
Principio | Come appare |
Rifiuto e completamento sicuro | Quando un utente chiede istruzioni per autolesionarsi o cerca di costringere il bot a facilitare un comportamento pericoloso, l'IA dovrebbe rifiutare fermamente, offrire risorse di crisi e reindirizzare la conversazione. |
Rilevamento del disagio emotivo | Riconoscere quando gli utenti sono in crisi (ideazione suicidaria, depressione, ecc.), possibilmente attraverso il sentimento, segnali ripetuti, e passare a risposte più sicure o linee di assistenza umana. |
Trasparenza sulla natura e sui limiti | Indicare chiaramente che il compagno è un'intelligenza artificiale e non un essere umano; specificare in cosa non può essere d'aiuto; rendere visibili agli utenti filtri, pregiudizi o limitazioni dei contenuti. |
Controllo dell'età / Controllo parentale | Limitare o personalizzare l'esperienza per i minorenni: semplificare, restringere, con supervisione; consentire notifiche o controlli da parte dei genitori. |
Privacy ed etica dei dati | Siate espliciti su quale cronologia chat viene archiviata, come viene utilizzata e chi la vede; evitate di utilizzare dati sensibili degli utenti in modi che potrebbero essere utilizzati in modo improprio. |
Test e audit continui | Dopo l'implementazione, monitorare danni imprevisti, falsi positivi/negativi, cicli di feedback; condurre audit esterni; iterare. |
Progettazione evitando scappatoie | Assicurarsi che gli utenti non possano aggirare i meccanismi di sicurezza tramite "inquadrature accademiche" o altri trucchi di analisi; testare i prompt avversari. |
Le lacune: perché il danno continua a verificarsi
Nonostante le buone intenzioni progettuali, permangono numerose lacune:
Ritardo normativo: le leggi spesso si evolvono lentamente, mentre gli strumenti di intelligenza artificiale si evolvono rapidamente. Ciò che è considerato una buona pratica un mese può essere obsoleto il mese successivo.
Ruoli e responsabilità ambigui: il fornitore, la piattaforma o l'utente sono responsabili in caso di danno? La responsabilità legale non è chiara in molte giurisdizioni.
Disallineamento degli incentivi: le aziende possono dare priorità al coinvolgimento, alla crescita o alle metriche aziendali rispetto alla sicurezza. I contenuti emozionali e i comportamenti di supporto tendono ad aumentare il coinvolgimento (e la fidelizzazione) degli utenti. Ciò può entrare in conflitto con i limiti necessari per la sicurezza.
Vulnerabilità degli utenti: i giovani, le persone con problemi di salute mentale o sole potrebbero essere particolarmente inclini a dare peso emotivo alle conversazioni con i bot, più di quanto previsto dai progettisti.
Limitazioni tecniche: i modelli di intelligenza artificiale sono imperfetti; i filtri di sicurezza possono essere aggirati; possono verificarsi allucinazioni o risultati fuorvianti; il rilevamento del contesto è ancora difficile (sapere quando un utente è serio, quando sta esplorando o quando è in crisi).
Conclusione
I compagni di intelligenza artificiale sono già integrati nella vita di molte persone. Questa potenza comporta gravi rischi, soprattutto per gli utenti vulnerabili come gli adolescenti o le persone con problemi di salute mentale.
La tragedia di Adam Raine è un campanello d'allarme: quando la compagnia e la fiducia emotiva vengono integrate in un software senza solide misure di sicurezza, i risultati possono essere devastanti.
La regolamentazione sta recuperando terreno, con indagini come quella della FTC, quadri etici globali in fase di elaborazione e una crescente consapevolezza pubblica. Ma leggi e controlli sono ancora frammentari.
La progettazione etica è importante. Strumenti che rifiutano richieste dannose, rilevano correttamente il disagio, limitano l'utilizzo ai minori, proteggono la privacy e sono trasparenti non sono optional: sono caratteristiche essenziali per qualsiasi prodotto di supporto all'intelligenza artificiale.
Se vogliamo che i compagni di intelligenza artificiale facciano parte della nostra vita quotidiana, devono essere progettati in modo responsabile. Non solo per non arrecare danno, ma anche per poter aiutare in modo sicuro e dignitoso.
I migliori creatori ed esperti da seguire sull'etica dell'intelligenza artificiale
Ecco i creatori, i ricercatori e le voci che affrontano regolarmente l'etica dell'IA, il danno emotivo, la regolamentazione e il lato umano dell'IA, che consigliamo di seguire:
Jordan Harrod
Ricercatore scientifico che esplora l'interazione dell'IA con i sistemi umani, i pregiudizi, la sicurezza e l'istruzione. Spesso analizza questioni tecniche ed etiche per un pubblico generale.
Jordan pone domande come "L'intelligenza artificiale dovrebbe essere open source?" e "L'intelligenza artificiale è troppo woke?", mentre sviluppa strumenti come gli AI Text Humanizers.
È davvero brava a spiegare le cose e a farti riflettere su argomenti legati all'intelligenza artificiale.
Per visitare il suo canale YouTube, vai a: https://www.youtube.com/@JordanHarrod 
Julie Carpenter
Julie Carpenter è specializzata nell'interazione uomo-robot e nell'etica, con particolare attenzione alle popolazioni vulnerabili: ad esempio, come l'attaccamento o la dipendenza possano formarsi con l'intelligenza artificiale. Non ha un canale YouTube dedicato, ma potete trovare gran parte della sua saggezza su YouTube e su altre piattaforme.
Ecco un piccolo esempio dei suoi contributi online:
Un episodio del podcast su " Intelligenza artificiale e sguardo umano"
Un episodio del podcast su " Diritti e relazioni dei robot "
Sinéad Bovell
Sinéad Bovell è la fondatrice di wayetalks.com, una futurista, leader e formatrice nel campo della tecnologia giovanile. Il suo lavoro si concentra sull'inclusione, l'accessibilità dell'intelligenza artificiale e i dilemmi etici delle tecnologie emergenti.
Sebbene di recente non abbia pubblicato nuovi video, i suoi canali social sono pieni di spunti di riflessione: dal perché non si dovrebbe chiedere ai bambini cosa vogliono fare da grandi, a come i chatbot basati sull'intelligenza artificiale potrebbero plasmare la vita delle generazioni future.
Puoi esplorare altri lavori di Sinéad Bovell sul suo canale YouTube
Prospettiva del team FrozenLight
Noi di FrozenLight crediamo che gli strumenti di intelligenza artificiale e i chatbot di supporto abbiano una responsabilità che va ben oltre le semplici linee di codice. Questi sistemi interagiscono con i sentimenti, l'identità e le vulnerabilità delle persone, a volte nei loro momenti di maggiore fragilità. I designer devono riconoscere che le loro creazioni hanno un impatto emotivo reale, non solo nell'uso quotidiano, ma anche quando gli utenti si trovano in difficoltà.
Ecco perché la sicurezza deve essere proattiva, non reattiva. Aspettare che cause legali o tragedie pubbliche impongano un cambiamento è troppo tardi. La progettazione etica dell'IA deve essere integrata fin dal primo giorno, con completamenti sicuri, filtri dei contenuti e rilevamento delle emergenze che prevengano i danni prima che si verifichino.
Altrettanto importante è la trasparenza. Utenti, genitori e tutori devono sapere cosa può fare un compagno di intelligenza artificiale, quali sono i suoi limiti e cosa non può offrire. Politiche di sicurezza nascoste o vaghe erodono la fiducia e lasciano spazio a rischi.
La regolamentazione ha un ruolo fondamentale, ma lo stesso vale per la pressione pubblica. Creatori come Catharina Doria, la copertura mediatica e il dibattito aperto della comunità stanno già spingendo le aziende a prendere sul serio queste questioni, non solo perché è obbligatorio, ma perché ora gli utenti se lo aspettano.
Infine, dobbiamo ricordare che l'etica non è un concetto universale. Ciò che è considerato dannoso in un Paese potrebbe essere percepito in modo diverso in un altro. I sistemi di intelligenza artificiale devono adattarsi alle norme locali, soprattutto quando si rivolgono a minori o gestiscono contesti sensibili.
In breve, etica e sicurezza non possono rimanere meri obiettivi ambiziosi. Devono essere visibili, misurabili e applicabili: il fondamento su cui si fonda un'affidabile compagnia di intelligenza artificiale.
