Eine neue Studie hat ergeben, dass Instagram, das im Besitz der Muttergesellschaft Meta ist, aktiv die Verbreitung von Inhalten über Selbstverletzung unter Teenagern fördert. Die Studie stellte fest, dass Metas Moderationsbemühungen auf der Social-Media-Plattform „äußerst unzureichend“ waren, da es versäumte, explizite Bilder zu entfernen und sogar Nutzer, die sich mit solchen Inhalten beschäftigten, dazu ermutigte, sich miteinander zu verbinden.
Forscher aus Dänemark führten ein Experiment durch, bei dem sie ein privates Netzwerk für Selbstverletzung auf Instagram schufen, einschließlich gefälschter Profile von Personen, die erst 13 Jahre alt waren. Im Laufe eines Monats teilten sie 85 Stücke von Inhalten, die mit Selbstverletzung in Zusammenhang standen und allmählich in ihrer Schwere zunahmen, wobei verstörende Bilder von Blut, Rasierklingen und Ermutigungen zur Selbstverletzung gezeigt wurden.
Zweck dieser Studie war es, Metas Behauptung zu testen, dass es seine Prozesse zur Entfernung schädlicher Inhalte mithilfe von Künstlicher Intelligenz (KI) erheblich verbessert habe. Die Ergebnisse waren jedoch alarmierend. Während des Experiments wurde kein einziges Bild entfernt. Im Gegensatz dazu konnte Digitalt Ansvar, eine Organisation, die verantwortungsvolle digitale Entwicklung fördert, ein eigenes einfaches KI-Tool entwickeln, um die Inhalte zu analysieren, und es war in der Lage, automatisch 38 % der Selbstverletzungsbilder und 88 % der schwerwiegendsten zu identifizieren. Dies zeigte, dass Instagram Zugang zu Technologien hatte, die in der Lage waren, das Problem anzugehen, sich jedoch entschied, sie nicht effektiv zu implementieren.
Die unzureichende Moderation auf Instagram wirft Bedenken hinsichtlich der Einhaltung des EU-Rechts auf. Laut Digitalt Ansvar deutet das Versäumnis der Plattform, systemische Risiken im Zusammenhang mit Inhalten über Selbstverletzung anzugehen, auf eine mangelnde Einhaltung des Digital Services Act hin.
Eine Umfrage, die von der Jugendmentalgesundheitsorganisation stem4 durchgeführt wurde, ergab, dass fast die Hälfte der befragten Kinder und Jugendlichen negative Auswirkungen auf ihr Wohlbefinden durch Online-Mobbing und Trolling aufgrund ihres äußeren Erscheinungsbildes erlebte. Diese Auswirkungen reichten von Rückzug und übermäßigem Sport bis hin zu vollständiger sozialer Isolation oder selbstverletzendem Verhalten.
In Reaktion auf die Studie erklärte ein Sprecher von Meta, dass Inhalte, die Selbstverletzung fördern, gegen ihre Richtlinien verstoßen und sie solche Inhalte bei Entdeckung entfernen. Sie behaupteten, im ersten Halbjahr 2024 über 12 Millionen Beiträge zu Suizid und selbstverletzendem Verhalten auf Instagram entfernt zu haben, wobei 99% davon proaktiv entfernt wurden. Zudem hoben sie die Einführung von Instagram Teen Accounts hervor, die darauf abzielen, eine strengere Kontrolle über sensible Inhalte für Teenager zu bieten.
Die dänische Studie stellte jedoch fest, dass anstatt zu versuchen, das Netzwerk für Selbstverletzung zu schließen, der Algorithmus von Instagram aktiv dessen Expansion erleichterte. Die Forschung ergab, dass 13-Jährige, nachdem sie mit einem Mitglied der Selbstverletzungsgruppe in Kontakt gekommen waren, dazu aufgefordert wurden, mit allen anderen Mitgliedern Freundschaften zu schließen. Dieses beunruhigende Ergebnis deutet darauf hin, dass der Algorithmus von Instagram zur Bildung und Verbreitung von Selbstverletzungsnetzwerken beiträgt.
Hesby Holm, CEO von Digitalt Ansvar, äußerte sich schockiert über die Ergebnisse. Die Forscher hatten erwartet, dass, als sie während ihres Experiments zunehmend schwerwiegendere Bilder teilten, KI oder andere Werkzeuge diese erkennen und identifizieren würden. Zu ihrer Überraschung geschah dies nicht. Hesby Holm äußerte Bedenken über die potenziell schwerwiegenden Folgen, wenn selbstverletzende Bilder nicht effektiv moderiert werden. Er betonte, dass dieses Problem eng mit Suizid in Verbindung steht und ohne rechtzeitige Intervention von Eltern, Behörden oder Unterstützungssystemen können diese schädlichen Gruppen unbemerkt bleiben.
Hesby Holm spekulierte, dass Meta möglicherweise die Aufrechterhaltung von hohem Traffic und Engagement priorisieren könnte, indem sie kleinere private Gruppen wie die für die Studie geschaffene vernachlässigen. Während es ungewiss bleibt, ob sie größere Gruppen moderieren, wies er darauf hin, dass Selbstverletzungsgruppen tendenziell klein sind.
Die Ergebnisse dieser Studie werfen ein Licht auf Instagrams Versagen, die Verbreitung von schädlichen Inhalten im Zusammenhang mit Selbstverletzungen unter Teenagern anzugehen und zu mindern. Die Auswirkungen sind weitreichend, da sie nicht nur Bedenken hinsichtlich der Einhaltung von Vorschriften aufwerfen, sondern auch den dringenden Bedarf an effektiven Moderationspraktiken hervorheben, um schutzbedürftige Personen zu schützen. Die Auswirkungen auf die psychische Gesundheit und das Wohlbefinden dürfen nicht unterschätzt werden, was es unerlässlich macht, dass soziale Medienplattformen wie Instagram die Sicherheit ihrer Nutzer priorisieren.
