Une nouvelle étude a révélé qu’Instagram, propriété de la société mère Meta, promeut activement la diffusion de contenu sur l’automutilation parmi les adolescents. L’étude a trouvé que les efforts de modération de Meta sur la plateforme de médias sociaux étaient « extrêmement inadéquats », car ils n’ont pas réussi à supprimer les images explicites et ont même encouragé les utilisateurs à interagir avec ce type de contenu.
Des chercheurs danois ont mené une expérience dans laquelle ils ont créé un réseau privé d’automutilation sur Instagram, incluant de faux profils d’individus aussi jeunes que 13 ans. Au cours d’un mois, ils ont partagé 85 contenus liés à l’automutilation qui ont progressivement augmenté en gravité, présentant des images troublantes de sang, de lames de rasoir et d’encouragement à l’automutilation.
L’objectif de cette étude était de tester l’affirmation de Meta selon laquelle elle avait considérablement amélioré ses processus de suppression de contenu nuisible en utilisant l’intelligence artificielle (IA). Cependant, les résultats étaient alarmants. Pas une seule image n’a été supprimée pendant l’expérience. En revanche, lorsque Digitalt Ansvar, une organisation promouvant un développement numérique responsable, a développé son propre outil d’IA simple pour analyser le contenu, il a pu identifier automatiquement 38 % des images d’automutilation et 88 % des plus sévères. Cela a démontré qu’Instagram avait accès à une technologie capable de traiter le problème mais a choisi de ne pas l’appliquer efficacement.
La modération inadéquate sur Instagram soulève des inquiétudes quant à la conformité avec la législation de l’UE. Selon Digitalt Ansvar, le manquement de la plateforme à traiter les risques systémiques liés au contenu sur l’automutilation suggère un manque de conformité avec la Loi sur les services numériques.
Une enquête menée par l’association caritative pour la santé mentale des jeunes stem4 a révélé que près de la moitié des enfants et des jeunes interrogés ont subi des effets négatifs sur leur bien-être en raison du harcèlement en ligne et du trolling concernant leur apparence physique. Ces effets allaient du retrait et de l’exercice excessif à l’isolement social complet ou à des comportements d’automutilation.
En réponse à l’étude, un porte-parole de Meta a déclaré que le contenu encourageant l’automutilation va à l’encontre de leurs politiques, et qu’ils suppriment ce type de contenu lorsqu’il est détecté. Ils ont affirmé avoir supprimé plus de 12 millions de contenus liés au suicide et à l’automutilation sur Instagram au cours du premier semestre 2024, dont 99 % ont été retirés de manière proactive. De plus, ils ont souligné le lancement des Comptes Teen sur Instagram, qui visent à fournir un contrôle plus strict sur le contenu sensible pour les adolescents.
Cependant, l’étude danoise a révélé qu’au lieu d’essayer de fermer le réseau d’automutilation, l’algorithme d’Instagram facilitait activement son expansion. La recherche a montré qu’après avoir connecté avec un membre du groupe d’automutilation, les adolescents de 13 ans étaient incités à devenir amis avec tous les autres membres. Cette découverte troublante suggère que l’algorithme d’Instagram contribue à la formation et à la propagation de réseaux d’automutilation.
Hesby Holm, PDG de Digitalt Ansvar, a exprimé son choc face aux résultats. Les chercheurs s’attendaient à ce qu’au fur et à mesure qu’ils partageaient des images de plus en plus graves durant leur expérience, l’IA ou d’autres outils les reconnaissent et les identifient. À leur grande surprise, cela ne s’est pas produit. Hesby Holm a soulevé des inquiétudes quant aux conséquences graves potentielles du manque de modération efficace des images d’automutilation. Il a souligné que ce problème est étroitement lié au suicide et qu’en l’absence d’une intervention rapide de la part des parents, des autorités ou des systèmes de soutien, ces groupes nuisibles peuvent passer inaperçus.
Hesby Holm a spéculé que Meta pourrait privilégier le maintien d’un trafic et d’un engagement élevés en négligeant de modérer des groupes privés plus petits comme celui créé pour l’étude. Bien qu’il reste incertain de savoir s’ils modèrent des groupes plus importants, il a souligné que les groupes d’automutilation tendent à être de petite taille.
Les résultats de cette étude éclairent l’échec d’Instagram à traiter et à atténuer la propagation de contenus nuisibles liés à l’automutilation chez les adolescents. Les implications sont considérables, car cela soulève non seulement des inquiétudes concernant la conformité aux réglementations, mais souligne également le besoin urgent de pratiques de modération efficaces pour protéger les individus vulnérables. L’impact sur la santé mentale et le bien-être ne peut être sous-estimé, rendant impératif pour des plateformes de médias sociaux comme Instagram de donner la priorité à la sécurité de leurs utilisateurs.
