Un paso importante para proteger a nuestra comunidad en Europa

Actualización del 14 de abril de 2022: el suicidio y la autoagresión son temas complejos que pueden tener consecuencias devastadoras. Queremos hacer todo lo que está a nuestro alcance para ayudar a nuestra comunidad, por lo que me complace compartir otro avance importante para mantener la seguridad de las personas en nuestras apps. Gracias a nuestras continuas conversaciones con el Departamento de Salud y Asistencia Social y la autoridad reguladora de protección de datos del Reino Unido, nuestra tecnología de detección proactiva envía el contenido sobre suicidio y autoagresión que encuentra en el Reino Unido a nuestro equipo de revisión, como lo hace en todo el mundo, fuera de la Unión Europea. Los moderadores pueden, entonces, revisar el contenido y tomar las medidas adecuadas, ya sea eliminarlo, dirigir a la persona que lo publicó a organizaciones de apoyo locales o, si es necesario, contactar a los servicios de emergencia.

Hasta el momento, usamos esta tecnología en el Reino Unido y la Unión Europea para detectar contenido sobre potencial suicidio y autoagresión, y hacerlo menos visible de forma automática, por ejemplo, evitando que se recomiende. Cuando la tecnología comprobaba fehacientemente que el contenido no cumplía nuestras reglas, podía eliminarlo de forma automática. Sin embargo, debido a las prolongadas deliberaciones con los gobiernos y los reguladores en el Reino Unido y en la Unión Europea sobre el funcionamiento de la tecnología y la naturaleza poco clara del contenido sobre suicidio y autoagresión, todavía no pudimos enviar este contenido a nuestro equipo de revisión para que tome las medidas correspondientes.

Por ello, combinar esta tecnología con nuestro equipo de revisión tendrá un impacto significativo en el Reino Unido. No solo nos ayudará a eliminar más contenido potencialmente dañino de Facebook e Instagram, sino que también implicará que podamos contactar a las personas que lo comparten con organizaciones, como Samaritans, o con los servicios de emergencia, cuando más lo necesiten.

Esperamos poder continuar las deliberaciones con nuestro principal regulador de la Unión Europea y pronto hacer un progreso similar para nuestra comunidad allí.

Actualización del 30 de septiembre de 2021: es posible que la información en este artículo esté desactualizada. Para obtener información actual sobre nuestra tecnología de detección de contenido sobre suicidio y autolesiones, visita nuestro Centro de seguridad. Como se describe en el Centro de seguridad, nuestros algoritmos tienen por objetivo ayudar a identificar contenido sobre potencial suicidio y autolesiones, y no diagnosticar ni tratar cualquier enfermedad mental u otra condición.

Actualización del 2 de septiembre de 2021: siempre buscamos maneras de brindarle apoyo a nuestra comunidad. Además, nos reunimos habitualmente con nuestro equipo de asesores en materia de suicidios y autolesiones. Desde hace un tiempo, consultamos a estos expertos para encontrar un método apropiado que nos permita abordar cierto tipo de contenido que no infringe nuestras normas, pero que representa o banaliza temas relacionados con el suicidio, la muerte o la depresión. Los expertos coinciden en que es importante que permitamos este tipo de publicaciones para asegurarnos de que las personas puedan hablar sobre sus sentimientos y sus amigos y familiares puedan estar al tanto de su situación. Sin embargo, también coinciden en que debemos buscar un equilibrio entre esto y la necesidad de evitar que otras personas vean contenido que podría resultar molesto. Por esta razón, en lugar de eliminar por completo este contenido, buscamos no recomendarlo en lugares como la sección "Explorar". De esta manera, es menos probable que las personas lo vean. Esperamos que esto nos ayude a lograr ese equilibrio y seguiremos consultando a los expertos a medida que avancen las investigaciones en este ámbito.

Hacemos todo lo que está a nuestro alcance para proteger a las personas en Instagram. Trabajamos con expertos para entender mejor los temas complejos relativos a la salud mental, el suicidio y la autoagresión, y cómo podemos servir de ayuda a las personas en situación de vulnerabilidad. En Instagram, ninguno de nosotros se toma estos temas a la ligera. Llevamos algunos años logrando avances importantes y, a partir de hoy, implementaremos más tecnología en Europa para respaldar nuestras iniciativas. Sin embargo, nuestro trabajo nunca termina y debemos buscar constantemente nuevas formas de ayudar.

Nos damos cuenta de que estos temas son algo muy personal para quienes los sufren. También sabemos que se trata de situaciones complicadas que cambian constantemente. Por eso, seguimos actualizando nuestras políticas y productos para ayudar a nuestra comunidad de la mejor forma posible. Nunca permitimos que nadie promueva ni aliente el suicido o la autoagresión en Instagram. Además, el año pasado, actualizamos nuestras políticas para eliminar todo el contenido gráfico sobre estas problemáticas. También ampliamos las políticas para prohibir representaciones ficticias (como dibujos, memes u otras imágenes) que mostraran materiales o métodos asociados al suicidio o la autoagresión.

No basta con abordar estas problemáticas mediante políticas y productos. También estamos convencidos de que es importante prestar ayuda a quienes sufren. Cuando una persona busca cuentas o hashtags sobre suicidio o autoagresión, le ofrecemos ayuda y le proporcionamos información sobre organizaciones en su zona que puedan brindarle asistencia. También trabajamos en conjunto con Samaritans, la organización benéfica para la prevención de suicidios, en la redacción de sus normas del sector. Estas normas tienen por objetivo ayudar a plataformas como la nuestra a lograr el equilibrio necesario entre eliminar el contenido dañino y brindar información sobre los lugares que pueden prestar ayuda a quienes la necesitan.

Usamos tecnología que nos permite encontrar y eliminar de forma proactiva más contenido dañino sobre suicidio y autoagresión. Nuestros sistemas detectan publicaciones que podrían tener contenido sobre suicidio o autoagresión, y las envían a revisión manual para que alguien tome una decisión definitiva e implemente la medida correspondiente. Algunas de estas medidas son eliminar el contenido, conectar al usuario que publicó el contenido con organizaciones de su zona que puedan brindar ayuda o, en casos muy graves, llamar a los servicios de emergencia. Entre abril y junio de este año, nuestra tecnología detectó más del 90% del contenido relacionado con suicido y autoagresión sobre el que tomamos medidas antes de que alguien lo reportara. Sin embargo, nuestro objetivo es acercarnos todo lo posible al 100%.

Hasta el momento, solo podíamos usar nuestros sistemas para detectar contenido sobre suicidio y autoagresión fuera de la Unión Europea, lo que dificultaba la tarea de encontrar el contenido de manera proactiva y ofrecer ayuda a los usuarios de esta región. Me complace anunciar que, a partir de hoy, implementaremos parte de nuestra tecnología en Facebook e Instagram en la Unión Europea. Esto nos posibilita buscar publicaciones que podrían infringir nuestras normas relativas al contenido sobre suicidio y autoagresión, y eliminarlas automáticamente de determinados lugares (como la sección "Explorar") para que tengan menos visibilidad. Asimismo, si nuestra tecnología detecta contenido que definitivamente infringe las normas, podemos eliminarlo de forma automática.

Este es un paso importante para proteger a más personas en la Unión Europea, pero no es el único. Próximamente, además de usar nuestra tecnología para detectar contenido y reducir su visibilidad, queremos poder enviarlo a revisión manual y ofrecer ayuda a los usuarios, como lo hacemos en el resto del mundo. La imposibilidad de tomar estas medidas en la Unión Europea dificulta nuestra capacidad de conectar a las personas con organizaciones y servicios de emergencia en su zona. Por ejemplo, en los EE. UU., entre agosto y octubre, más del 80% de las cuentas que remitimos a organizaciones y servicios de emergencia locales se detectaron por medio de nuestra tecnología proactiva. Actualmente, participamos de conversaciones con reguladores y gobiernos para definir la mejor manera de implementar nuestra tecnología en la Unión Europea sin atentar contra sus consideraciones de privacidad. Esperamos poder encontrar el equilibrio adecuado que nos permita avanzar, ya que estos temas son demasiado importantes como para no hacerlo.

Cronología de las medidas que tomamos para abordar el contenido sobre suicidio y autoagresión en Instagram

• Diciembre de 2016: lanzamos a la capacidad para reportar las publicaciones sobre autoagresión de forma anónima y empezamos a conectar a las personas con las organizaciones que pudieran brindar ayuda.
• Marzo de 2017: incorporamos herramientas para la prevención de suicidios en Facebook Live a fin de que amigos y familiares pudieran enviar reportes y comunicarse más fácilmente con las personas en tiempo real.
• Noviembre de 2017: implementamos tecnología fuera de los EE. UU. (a excepción de Europa) para ayudar a identificar situaciones en las que una persona podría expresar pensamientos suicidas, incluso en Facebook Live. Empezamos a usar inteligencia artificial para priorizar los reportes, poder enviar ayuda a las personas y alertar a los servicios de emergencia con la máxima celeridad posible.
• Septiembre de 2018: creamos una Guía para padres de adolescentes que usan Instagram.
• Febrero de 2019: empezamos a organizar reuniones periódicas con expertos en seguridad y prevención de suicidios de todo el mundo para que nos asesoren sobre la complejidad cada vez mayor del suicidio y la autoagresión, y para que revisen con frecuencia nuestra estrategia.
• Febrero de 2019: ampliamos nuestras políticas para prohibir todo el contenido gráfico sobre suicidio y autoagresión, incluso si se había admitido en el pasado. También hicimos que fuera más difícil encontrar este tipo de contenido en las búsquedas, bloqueamos hashtags relacionados, aplicamos pantallas de contenido delicado a todas las publicaciones admitidas y aumentamos el envío de recursos a personas que publicaran o buscaran este tipo de contenido.
• Octubre de 2019: ampliamos nuestras políticas para prohibir contenido ficticio sobre suicidio o autoagresión, incluidos memes e ilustraciones, y contenido con métodos o materiales relacionados.
• Septiembre de 2020: trabajamos en conjunto con Samaritans para publicar sus normas nuevas sobre cómo administrar con seguridad el contenido online sobre suicidio y autoagresión.
• Octubre de 2020: agregamos un mensaje encima de todas las búsquedas que incluyeran palabras relativas al suicidio o la autoagresión. En el mensaje, se ofrece ayuda e información sobre las organizaciones que pueden brindar asistencia al usuario en su zona.
• Noviembre de 2020: implementamos tecnología en la Unión Europea para detectar de forma proactiva más contenido sobre suicidio y autoagresión a fin de reducir su visibilidad.
• Agosto de 2021: luego de nuestras consultas a expertos, implementamos tecnología para identificar el contenido que representa o banaliza temas relacionados con el suicidio, la muerte o la depresión, e hicimos que sea menos probable que las personas lo vean. No eliminaremos este tipo de contenido, pero trataremos de no recomendarlo en lugares como la sección "Explorar".

Las cifras

Creemos firmemente que nuestra comunidad debe poder evaluar cómo implementamos nuestras políticas y tomamos medidas sobre el contenido dañino. Por eso, publicamos de forma periódica informes de cumplimiento de las Normas comunitarias para compartir datos globales relativos al contenido sobre el que tomamos medidas y el porcentaje de ese contenido que detectamos antes de que alguien lo reporte. En esta cronología, se detallan nuestros avances para eliminar contenido sobre suicidio y autoagresión en Instagram de acuerdo con los informes mencionados.

• Segundo trimestre de 2019. Informe de cumplimiento de las Normas comunitarias: tomamos medidas sobre 835.000 elementos de contenido y detectamos de forma proactiva casi el 78%.
• Tercer trimestre de 2019. Informe de cumplimiento de las Normas comunitarias: tomamos medidas con respecto a 845.000 elementos de contenido sobre suicidio y autoagresión, y detectamos de forma proactiva más del 79%
• Cuarto trimestre de 2019. Informe de cumplimiento de las Normas comunitarias: tomamos medidas sobre 897.000 elementos de contenido y detectamos de forma proactiva más del 83%.
• Primer trimestre de 2020. Informe de cumplimiento de las Normas comunitarias: tomamos medidas sobre 1,3 millones de elementos de contenido y detectamos de forma proactiva casi el 90%.
• Segundo trimestre de 2020. Informe de cumplimiento de las Normas comunitarias: tomamos medidas sobre 275.000 elementos de contenido y detectamos de forma proactiva casi el 94%. La baja en las cifras durante este período se debe al impacto que tuvo el brote de COVID-19 en la revisión de contenido.
• Tercer trimestre de 2020. Informe de cumplimiento de las Normas comunitarias: tomamos medidas sobre 1,3 millones de elementos de contenido y detectamos de forma proactiva más del 95%. El COVID-19 sigue afectando nuestra revisión de contenido, pero nuestras cifras de cumplimiento han vuelto a los niveles previos a la pandemia, gracias a las mejoras en la inteligencia artificial.
• Cuarto trimestre de 2020. Informe de cumplimiento de las Normas comunitarias: tomamos medidas sobre 3,4 millones de elementos de contenido y detectamos de forma proactiva más del 94%.
• Primer trimestre de 2021. Informe de cumplimiento de las Normas comunitarias: tomamos medidas sobre 2,7 millones de elementos de contenido y detectamos de forma proactiva más del 94%.
• Segundo trimestre de 2021. Informe de cumplimiento de las Normas comunitarias: tomamos medidas sobre 3 millones de elementos de contenido y detectamos de forma proactiva el 96%.