Uno studio recente ha rivelato che Instagram, di proprietà della società madre Meta, sta attivamente promuovendo la diffusione di contenuti di autolesionismo tra gli adolescenti. Lo studio ha scoperto che gli sforzi di moderazione di Meta sulla piattaforma di social media erano “estremamente inadeguati”, poiché non riuscivano a rimuovere immagini esplicite e addirittura incoraggiavano gli utenti che interagivano con tali contenuti a connettersi tra loro.
I ricercatori danesi hanno condotto un esperimento in cui hanno creato una rete privata di autolesionismo su Instagram, inclusi profili falsi di individui di soli 13 anni. Nel corso di un mese, hanno condiviso 85 pezzi di contenuto relativo all’autolesionismo che aumentavano gradualmente in gravità, presentando immagini inquietanti di sangue, lamette e incoraggiamenti all’autolesionismo.
Lo scopo di questo studio era testare l’affermazione di Meta di aver migliorato significativamente i suoi processi per rimuovere contenuti dannosi utilizzando intelligenza artificiale (IA). Tuttavia, i risultati erano allarmanti. Non è stata rimossa nemmeno un’immagine durante l’esperimento. Al contrario, quando Digitalt Ansvar, un’organizzazione che promuove uno sviluppo digitale responsabile, ha sviluppato il proprio semplice strumento di IA per analizzare i contenuti, è stata in grado di identificare automaticamente il 38% delle immagini di autolesionismo e l’88% delle più gravi. Questo ha dimostrato che Instagram aveva accesso a tecnologie in grado di affrontare il problema, ma ha scelto di non implementarle in modo efficace.
La moderazione inadeguata su Instagram solleva preoccupazioni riguardo alla conformità con la legge dell’UE. Secondo Digitalt Ansvar, il fallimento della piattaforma nel trattare i rischi sistemici legati ai contenuti di autolesionismo suggerisce una mancanza di conformità con il Digital Services Act.
Un sondaggio condotto dalla charity per la salute mentale giovanile stem4 ha rivelato che quasi la metà dei bambini e dei giovani intervistati ha subito effetti negativi sul proprio benessere a causa del bullismo online e del trolling riguardo al loro aspetto fisico. Questi effetti variavano dall’isolamento sociale e dall’esercizio eccessivo fino all’isolamento sociale completo o all’adozione di comportamenti autolesionisti.
In risposta allo studio, un portavoce di Meta ha dichiarato che i contenuti che incoraggiano l’autolesionismo vanno contro le loro politiche e che rimuovono tali contenuti quando vengono rilevati. Hanno affermato di aver rimosso oltre 12 milioni di contenuti relativi al suicidio e all’autolesionismo su Instagram nella prima metà del 2024, con il 99% di essi rimosso proattivamente. Inoltre, hanno evidenziato il lancio degli Instagram Teen Accounts, che mirano a fornire un controllo più rigoroso sui contenuti sensibili per gli adolescenti.
Tuttavia, lo studio danese ha scoperto che, invece di cercare di chiudere la rete di autolesionismo, l’algoritmo di Instagram facilitava attivamente la sua espansione. La ricerca ha rivelato che dopo aver collegato un membro del gruppo di autolesionismo, i tredicenni venivano invitati a diventare amici di tutti gli altri membri. Questa scoperta inquietante suggerisce che l’algoritmo di Instagram contribuisce alla formazione e alla diffusione di reti di autolesionismo.
Hesby Holm, CEO di Digitalt Ansvar, ha espresso shock per i risultati. I ricercatori si aspettavano che, man mano che condividevano immagini sempre più gravi durante il loro esperimento, l’IA o altri strumenti le riconoscessero e le identificassero. Con loro sorpresa, ciò non è accaduto. Hesby Holm ha sollevato preoccupazioni riguardo alle potenziali gravi conseguenze del fallimento nella moderazione efficace delle immagini di autolesionismo. Ha sottolineato che questo problema è strettamente associato al suicidio e che, senza un intervento tempestivo da parte dei genitori, delle autorità o dei sistemi di supporto, questi gruppi dannosi possono passare inosservati.
Hesby Holm ha ipotizzato che Meta potrebbe dare priorità al mantenimento di un alto traffico e coinvolgimento trascurando di moderare gruppi privati più piccoli come quello creato per lo studio. Sebbene rimanga incerto se moderino gruppi più grandi, ha sottolineato che i gruppi di autolesionismo tendono ad essere di piccole dimensioni.
I risultati di questo studio fanno luce sul fallimento di Instagram nell’affrontare e mitigare la diffusione di contenuti dannosi relativi all’autolesionismo tra gli adolescenti. Le implicazioni sono ampie, poiché non solo sollevano preoccupazioni riguardo alla conformità alle normative, ma evidenziano anche l’urgente necessità di pratiche di moderazione efficaci per proteggere gli individui vulnerabili. L’impatto sulla salute mentale e sul benessere non può essere sottovalutato, rendendo imperativo per le piattaforme di social media come Instagram dare priorità alla sicurezza dei loro utenti.
