Dal 24 giugno, migliaia di gruppi su Facebook sono scomparsi. Gruppi per genitori, pagine dedicate agli animali domestici, forum di giochi, persino club per scegliere il nome per i bambini: spariti.
Gli amministratori si stanno accorgendo di messaggi riguardanti "terrorismo", "nudità" o "violazioni della comunità"... ma il contenuto?
Tutto normale.
Quindi cosa è successo?
Cosa dice Meta
Meta ha ammesso che non si è trattato di un errore dell'utente, bensì di un suo errore.
Alcuni gruppi sono stati rimossi erroneamente a causa di un problema tecnico. Stiamo lavorando per ripristinare i gruppi interessati il più rapidamente possibile.
– Portavoce di Meta, tramite TechCrunch
Sembra l'ennesimo fallimento della moderazione dell'IA: gruppi segnalati erroneamente e banditi su larga scala. Le comunità colpite vanno da piccoli gruppi di quartiere a comunità con centinaia di migliaia di membri.
Cosa significa (in parole umane)
Facebook utilizza l'intelligenza artificiale per rilevare eventuali violazioni, e ha sbagliato.
Male.
Probabilmente il sistema ha confuso la normale attività di gruppo con contenuti che violavano le regole (o è stato inondato da segnalazioni di massa da parte di bot). Una volta segnalati, interi gruppi sono stati rimossi dalla rete.
Gli amministratori vogliono fare ricorso?
A molti è stato negato immediatamente l'accesso o sono stati completamente esclusi.
Questo non era mirato.
Era sistemico.
E al momento la soluzione di Meta sembra essere: aspettare e sperare che la situazione torni alla normalità.
Uniamo i puntini
Quello che è successo | Cosa dovresti sapere |
Le chiusure di massa dei gruppi sono iniziate intorno al 24 giugno | Colpisce principalmente il Sud-est asiatico, il Nord America e le comunità di genitori e giocatori |
Motivo della rimozione: vago o falso (ad esempio, terrorismo, nudità) | Non basato sul contenuto effettivo del gruppo |
Meta dice che era un bug | Probabilmente causato dalla logica di moderazione dell'IA o da segnalazioni false guidate da bot |
I ricorsi per lo più falliscono | Alcuni amministratori vengono bloccati completamente dopo aver presentato ricorso |
Meta sta lavorando a una soluzione | Ma non ci sono tempi confermati per la completa ripresa |
Cosa potrebbe causare un falso positivo in un sistema di moderazione basato sull'intelligenza artificiale?
Sembra che siamo tutti d'accordo che questo sia un problema di intelligenza artificiale, anche Meta, quindi la vera domanda è:
Quali sono i motivi più comuni per cui un algoritmo segnala qualcosa in modo errato?
1. Dati di addestramento errati
Se Meta addestrasse la sua intelligenza artificiale di moderazione su esempi troppo vaghi o parziali, il sistema inizierebbe a reagire in modo eccessivo.
Ad esempio, potrebbe scoprire che i post con determinate parole chiave o emoji sono sempre pericolosi, anche quando non lo sono.
Esempio: Qualcuno scrive "Facciamo una bomba a questa festa 🎉" in modo divertente.
L'intelligenza artificiale vede la parola "bomba" e attiva un allarme terrorismo.
2. Troppa fiducia nel pattern-matching
L'intelligenza artificiale non comprende il significato, ma si limita a seguire schemi.
Quindi, se un post sembra statisticamente simile a uno bannato (anche se non lo è), il sistema potrebbe segnalarlo.
Pensatela in questo modo:
"Questo post è simile all'87% a qualcosa di vietato = deve essere pessimo."
Non c'è spazio per il contesto.
3. Cecità al contesto
L'intelligenza artificiale non è realmente in grado di "leggere la stanza".
Un commento in un gruppo potrebbe essere innocuo, ma in un altro contesto potrebbe essere segnalato.
La maggior parte delle IA di moderazione non riesce a distinguere la differenza.
"Invia foto di nudo" in un gruppo meme = scherzo.
"Inviare foto di nudo" in un gruppo di bambini = violazione grave.
L'intelligenza artificiale vede entrambe le cose allo stesso modo.
4. Segnalazioni di massa da parte di bot o troll
Talvolta, utenti malintenzionati o reti di bot segnalano tramite spam un gruppo.
Anche se il contenuto è pulito, un numero sufficiente di segnalazioni può indurre l'IA a credere che ci sia una minaccia reale.
L'intelligenza artificiale non valuta il contenuto.
Sta reagendo al numero di segnalazioni.
5. Azioni automatiche troppo sicure di sé
Alcune piattaforme consentono all'intelligenza artificiale di agire senza revisione umana, soprattutto su larga scala.
È più veloce... ma significa anche che un errore = l'intero gruppo viene rimosso, senza fare domande.
È probabile che Meta utilizzi l'automazione per agire prima che gli esseri umani possano effettuare la revisione.
6. Regole non rispettate o non funzionanti
La moderazione dell'intelligenza artificiale funziona in base a regole e ipotesi di apprendimento automatico.
Se una parte del sistema si aggiorna in modo errato (ad esempio un upgrade del modello o l'implementazione di un nuovo filtro), può verificarsi un'ondata di falsi positivi senza preavviso.
Meta-Politica e processo di ripristino
Il duro lavoro di molte persone è stato danneggiato, quindi ci siamo presi la libertà di scavare a fondo e trovare tutto ciò che c'è da sapere sulla politica di Meta e sul ripristino del gruppo:
Finestra di appello
Gli amministratori hanno 30 giorni di tempo per presentare ricorso se Facebook disattiva un gruppo per violazione degli Standard della community. Se il ricorso viene accettato, il gruppo dovrebbe essere ripristinato. transparency.meta.com+12facebook.com+12facebook.com+12 .
Ripristini automatici
Se Meta riconosce un errore, il tuo gruppo verrà ripristinato, a volte anche senza possibilità di ricorso facebook.com .
Per questa recente ondata di sospensioni, molti amministratori segnalano che la semplice attesa in silenzio (24-72 ore) spesso innesca un ripristino automatico, soprattutto se viene riconosciuto come un bug reddit.com .
⏱️ Tempi di risposta osservati
La maggior parte degli amministratori segnala il ripristino entro 24-72 ore dalla rimozione, senza alcuna azione se non l'attesa.
La conferma formale da Meta potrebbe arrivare in un secondo momento tramite e-mail o notifica nell'app.
Quando non si ripristina
Se una violazione viene ritenuta valida, il ricorso potrebbe essere respinto e il ripristino non avrà luogo facebook.com+5facebook.com+5reddit.com+5 facebook.com+2facebook.com+2reddit.com+2 .
Se il gruppo è stato effettivamente eliminato (anziché sospeso), potresti non essere in grado di recuperarlo e potresti dover crearne uno nuovo facebook.com+8webapps.stackexchange.com+8reddit.com+8 .
I migliori passaggi per gli amministratori interessati
Non fare nulla per 24-72 ore dopo la sospensione: evita di pubblicare post o presentare ricorso immediatamente.
Se dopo 3 giorni il problema persiste, invia un ricorso tramite l'Assistenza di Facebook.
Tieni d'occhio le notifiche via email e Facebook.
Se il gruppo non c'è più, valuta la possibilità di crearne uno nuovo e di trasferire i membri.
Conclusione
Se il tuo gruppo è scomparso, non sei il solo e probabilmente non hai fatto nulla di sbagliato.
Ecco cosa fare:
Non affrettarti a presentare ricorso: molti rapporti affermano che ciò peggiorerebbe la situazione.
Attendi 24-72 ore mentre Meta risolve il problema.
Tieni aggiornata la tua community su altre piattaforme (WhatsApp, Instagram o anche e-mail).
Se il tuo gruppo torna, fai degli screenshot dei contenuti importanti.
Non si sa mai quando potrebbe scomparire di nuovo.
Ecco cosa succede quando la moderazione dell'intelligenza artificiale si muove più velocemente della logica umana.
Dai pensieri al suggerimento
La storia di Meta mostra cosa succede quando l'intelligenza artificiale prende decisioni senza il giusto contesto o feedback.
Ma non si tratta solo di Meta. Si tratta di come lavoriamo con l'intelligenza artificiale ogni giorno.
Per aiutarti a migliorare i tuoi flussi di lavoro di intelligenza artificiale, abbiamo creato un prompt che puoi copiare e incollare nel tuo assistente.
Ti dirà cosa manca, così potrai guidarlo meglio.
Prospettiva del team di Frozen Light
Questa è una storia di addestramento, di intelligenza artificiale non supervisionata e di una sorta di beta testing in atto.
Sebbene non possiamo confermare la seconda parte, non è una novità: testare in ambienti live è SaaS 101.
Alcuni fornitori hanno programmi ufficiali per questo. Altri non te lo dicono affatto.
Ma il fatto che la questione sembri geograficamente limitata rafforza il nostro sospetto:
Si trattava di un piccolo gruppo di prova... e tutto è andato storto.
Per quanto riguarda la prima parte, non abbiamo dubbi che il cosiddetto “bug” sia legato all’addestramento.
Mette in evidenza la tensione continua che tutti noi affrontiamo:
Non vogliamo fornire informazioni per aiutare ad addestrare i sistemi di intelligenza artificiale -
Ma quando l'intelligenza artificiale non riceve un addestramento adeguato, otteniamo falsi positivi.
Ecco come avviene:
Lo strumento diventa troppo sensibile
L'intelligenza artificiale non comprende il contesto
I cattivi attori ingannano il sistema
E non c'è nessun essere umano che controlla il risultato
Nel caso di Meta, la situazione è la seguente:
Un aggiornamento di moderazione
Possibilmente abbinato a segnalazioni di bot di massa
Nessuna reale capacità di separare la verità dal rumore
E un sistema di rimozione automatizzato senza filtro umano
Il risultato?
Interi gruppi sono stati spazzati via, senza vere violazioni.
E non c'è nessuno che dica:
"Aspetta, quello è un gruppo di genitori. Non una cellula terroristica."
È qui che l'impatto e la responsabilità devono svolgere un ruolo.
Inizia con:
Trasparenza, affinché le persone possano fidarsi del processo
Un piano di failover adeguato: perché abbiamo sempre bisogno di un modo per annullare i danni
Ci auguriamo che gli utenti recuperino tutti i loro gruppi.
Ma in caso contrario, i venditori dovrebbero comprendere quanto profondo sia l'impatto:
e creare misure di salvaguardia che rispettino il tempo e gli sforzi delle persone.
La storia di Meta non è diversa da quella di altri "bug" che abbiamo visto nell'intelligenza artificiale.
Proprio ieri abbiamo parlato della versione 1 di Midjourney e dell'ondata di frustrazione suscitata dalle questioni relative al copyright.
In quel caso, le persone non hanno perso gruppi, ma hanno perso tempo cercando di capire perché il modello si rifiutava di generare le loro immagini.
Il messaggio che vogliamo lasciarvi è questo:
Che lo si chiami addestramento o dati, è importante.
Dal tuo progetto di intelligenza artificiale personale ai modelli dei più grandi fornitori: questo è il fulcro di tutto.
Non sappiamo come andrà a finire.
Ci sono forze che tirano in direzioni opposte:
Non vogliamo fornire dati.
L'intelligenza artificiale ne ha bisogno.
Ma questo lo sappiamo:
Vogliamo tutti che l'intelligenza artificiale serva al suo scopo.
Ciò significa che troveremo una soluzione.
E deve essere una soluzione che vada bene per tutti.
