Un nuevo estudio ha revelado que Instagram, propiedad de la empresa matriz Meta, está promoviendo activamente la difusión de contenido de autolesionismo entre los adolescentes. El estudio encontró que los esfuerzos de moderación de Meta en la plataforma de redes sociales eran «extremadamente inadecuados», ya que no lograron eliminar imágenes explícitas e incluso alentaron a los usuarios que interactuaban con dicho contenido a conectarse entre sí.
Investigadores de Dinamarca llevaron a cabo un experimento en el que crearon una red privada de autolesionismo en Instagram, incluyendo perfiles falsos de individuos tan jóvenes como de 13 años. A lo largo de un mes, compartieron 85 piezas de contenido relacionado con el autolesionismo que aumentaban gradualmente en severidad, presentando imágenes perturbadoras de sangre, cuchillas de afeitar y fomento del autolesionismo.
El propósito de este estudio era probar la afirmación de Meta de que había mejorado significativamente sus procesos para eliminar contenido dañino utilizando inteligencia artificial (IA). Sin embargo, los hallazgos fueron alarmantes. No se eliminó ni una sola imagen durante el experimento. En contraste, cuando Digitalt Ansvar, una organización que promueve el desarrollo digital responsable, desarrolló su propia herramienta de IA simple para analizar el contenido, pudo identificar automáticamente el 38% de las imágenes de autolesionismo y el 88% de las más severas. Esto demostró que Instagram tenía acceso a tecnología capaz de abordar el problema, pero eligió no implementarla de manera efectiva.
La moderación inadecuada en Instagram plantea preocupaciones sobre el cumplimiento de la ley de la UE. Según Digitalt Ansvar, la incapacidad de la plataforma para abordar los riesgos sistémicos relacionados con el contenido de autolesionismo sugiere una falta de cumplimiento con la Ley de Servicios Digitales.
Una encuesta realizada por la organización benéfica de salud mental juvenil stem4 reveló que casi la mitad de los niños y jóvenes interrogados experimentaron efectos negativos en su bienestar debido al acoso en línea y al trolling sobre su apariencia física. Estos efectos variaron desde el aislamiento y el ejercicio excesivo hasta la completa aislamiento social o la participación en comportamientos autolesivos.
En respuesta al estudio, un portavoz de Meta declaró que el contenido que fomenta la autolesión va en contra de sus políticas y que eliminan dicho contenido cuando se detecta. Afirmaron haber eliminado más de 12 millones de piezas de contenido relacionado con suicidio y autolesión en Instagram en la primera mitad de 2024, con el 99% de este contenido siendo eliminado de manera proactiva. Además, destacaron el lanzamiento de las Cuentas de Instagram para Adolescentes, que tienen como objetivo proporcionar un control más estricto sobre el contenido sensible para los adolescentes.
Sin embargo, el estudio danés encontró que, en lugar de intentar cerrar la red de autolesiones, el algoritmo de Instagram facilitó activamente su expansión. La investigación reveló que después de conectar con un miembro del grupo de autolesiones, los adolescentes de 13 años eran incitados a hacerse amigos de todos los demás miembros. Este hallazgo perturbador sugiere que el algoritmo de Instagram contribuye a la formación y propagación de redes de autolesión.
Hesby Holm, CEO de Digitalt Ansvar, expresó su sorpresa ante los resultados. Los investigadores esperaban que, a medida que compartían imágenes cada vez más severas durante su experimento, la IA u otras herramientas las reconocieran e identificaran. Para su sorpresa, esto no sucedió. Hesby Holm planteó preocupaciones sobre las posibles consecuencias graves de no moderar eficazmente las imágenes de autolesión. Enfatizó que este problema está estrechamente asociado con el suicidio y que, sin una intervención oportuna de los padres, las autoridades o los sistemas de apoyo, estos grupos dañinos pueden pasar desapercibidos.
Hesby Holm especuló que Meta podría priorizar el mantenimiento de un alto tráfico y compromiso al descuidar la moderación de grupos privados más pequeños como el creado para el estudio. Aunque sigue siendo incierto si moderan grupos más grandes, señaló que los grupos de autolesionismo tienden a ser pequeños en tamaño.
Los hallazgos de este estudio arrojan luz sobre el fracaso de Instagram para abordar y mitigar la propagación de contenido dañino relacionado con la autolesión entre los adolescentes. Las implicaciones son de gran alcance, ya que no solo plantea preocupaciones sobre el cumplimiento de regulaciones, sino que también destaca la urgente necesidad de prácticas de moderación efectivas para proteger a las personas vulnerables. El impacto en la salud mental y el bienestar no puede subestimarse, lo que hace imperativo que plataformas de redes sociales como Instagram prioricen la seguridad de sus usuarios.
