Um passo importante para melhorar a proteção da nossa comunidade na Europa

Por Adam Mosseri, chefe do Instagram

10 de novembro de 2020

Atualização de 14/04/2022: o suicídio e a automutilação são problemas complexos e podem ter consequências devastadoras. Queremos fazer tudo o que está ao nosso alcance para apoiar a comunidade. Por isso, venho compartilhar outro passo importante para mantermos as pessoas em segurança nos nossos aplicativos. Graças às nossas discussões contínuas com o Departamento de Saúde e Assistência Social e o órgão regulador de proteção de dados do Reino Unido, a nossa tecnologia de detecção proativa agora está enviando possível conteúdo sobre suicídio e automutilação encontrado no Reino Unido para a nossa equipe de análise. Isso já acontece em todos os outros lugares do mundo fora da União Europeia. Esses moderadores podem analisar o conteúdo e adotar as medidas apropriadas, como removê-lo, direcionar a pessoa que fez a publicação para organizações de apoio locais ou, se necessário, entrar em contato com os serviços de emergência.

Até agora, conseguimos usar essa tecnologia no Reino Unido e na União Europeia para identificar possível conteúdo sobre suicídio e automutilação e reduzir a visibilidade dele automaticamente (por exemplo, impedindo que seja recomendado). Nos casos em que a tecnologia tinha absoluta certeza de que o conteúdo violava as nossas regras, ela podia removê-lo automaticamente. No entanto, devido a discussões de longo prazo com governos e órgãos reguladores no Reino Unido e na União Europeia sobre como a tecnologia funciona e a natureza delicada do conteúdo sobre suicídio e automutilação, ainda não podíamos enviá-lo para a nossa equipe de análise tomar as medidas apropriadas.

Agora, a combinação dessa tecnologia com a nossa equipe de análise terá um impacto significativo no Reino Unido. Isso vai nos ajudar a remover mais conteúdo potencialmente prejudicial do Facebook e do Instagram. Além disso, também poderemos conectar as pessoas que compartilharem esse tipo de conteúdo a organizações como a Samaritans ou a serviços de emergência nos momentos em que elas mais precisarem.

Desejamos continuar as discussões com o nosso principal órgão regulador da União Europeia e esperamos fazer progressos semelhantes nessa região em breve.

------------

Atualização de 30/09/2021: as informações neste artigo podem estar desatualizadas. Para obter informações atuais sobre a nossa tecnologia de detecção de conteúdo sobre suicídio e automutilação, acesse a Central de Segurança. Conforme descrito na Central de Segurança, os nossos algoritmos têm o objetivo de ajudar a identificar possível conteúdo sobre suicídio e automutilação, não de diagnosticar nem tratar problemas de saúde mental ou outras condições.

------------


Atualização em 02/09/2021: estamos sempre buscando maneiras de ajudar mais a nossa comunidade, e nos reunimos regularmente com os membros do nosso Conselho de Combate ao Suicídio e à Automutilação. Há algum tempo, consultamos esses especialistas sobre a forma certa de abordar um tipo específico de conteúdo que não viola as nossas regras, mas que pode retratar ou banalizar temas ligados a suicídio, morte ou depressão. Os especialistas concordam que é importante permitir esse tipo de publicação para que as pessoas possam falar sobre como estão se sentindo e seus familiares e amigos possam ajudar. No entanto, também precisamos evitar que outras pessoas se deparem com o conteúdo potencialmente perturbador. É por isso que, em vez de remover esse conteúdo por completo, não vamos recomendá-lo em lugares como o Explorar, dificultando sua descoberta. Esperamos que isso nos ajude a encontrar o equilíbrio, e continuaremos a consultar os especialistas conforme mais pesquisas sobre esse tema forem realizadas.

------------

Faremos tudo o que pudermos para manter as pessoas seguras no Instagram. Trabalhamos com especialistas para entender melhor as questões complexas de saúde mental, suicídio e automutilação, e aprender qual é a forma mais correta de ajudar pessoas vulneráveis. No Instagram, todos nós levamos essas questões muito a sério. Além do progresso dos últimos anos, hoje estamos lançando mais uma tecnologia na Europa para contribuir com as nossas iniciativas. Porém, o nosso trabalho nunca acaba. Estamos sempre buscando maneiras de ir além.


Reconhecemos que essas questões são extremamente pessoais para as pessoas que lidam com elas. São também questões complicadas, que mudam constantemente. Por isso, continuamos a atualizar políticas e produtos para dar o melhor suporte à nossa comunidade. Nunca permitimos a promoção nem o incentivo ao suicídio ou à automutilação no Instagram. No ano passado, atualizamos as nossas políticas para remover todo o conteúdo explícito envolvendo esse tipo de conteúdo. Além disso, ampliamos as políticas para proibir representações fictícias, como desenhos, memes ou outras imagens, que mostrem materiais ou métodos associados a suicídio ou automutilação.


Não é suficiente abordar essas questões complexas apenas por meio de políticas e produtos. Também acreditamos que é importante dar ajuda e apoio às pessoas que estão enfrentando momentos difíceis. Damos suporte às pessoas que procuram contas ou hashtags relacionadas a suicídio e automutilação e as encaminhamos a organizações locais que podem ajudá-las. Também colaboramos com a Samaritans, uma instituição beneficente que trabalha com prevenção ao suicídio, a fim de desenvolver diretrizes para o setor que visam ajudar plataformas como a nossa a encontrar o importante equilíbrio entre combater o conteúdo prejudicial e dar apoio a quem precisa de ajuda.


Usamos uma tecnologia que nos ajuda a encontrar e remover proativamente o conteúdo mais prejudicial sobre suicídio e automutilação. Nossa tecnologia encontra publicações que possam ter conteúdo sobre suicídio e automutilação e as envia a analistas humanos para que tomem a decisão final e as medidas necessárias. As medidas incluem remover o conteúdo, colocar a pessoa que o publicou em contato com organizações locais que oferecem ajuda ou, nos casos mais graves, ligar para serviços de emergência. Entre abril e junho deste ano, mais de 90% do conteúdo sobre suicídio e automutilação contra o qual tomamos alguma medida foi encontrado por nossa própria tecnologia antes que alguém o denunciasse. No entanto, o nosso objetivo é fazer com que esse número seja o mais próximo possível de 100%.


Até agora, só foi possível usar essa tecnologia para encontrar conteúdo sobre suicídio e automutilação fora da União Europeia, o que dificultava a descoberta proativa desse tipo de conteúdo e o apoio às pessoas. Porém, hoje, estamos lançando parte dessa tecnologia na UE, que funcionará tanto no Facebook e quanto no Instagram. Agora, podemos procurar publicações que provavelmente violam as nossas regras sobre suicídio e automutilação e diminuir sua visibilidade, removendo-as automaticamente de locais como o Explorar. E quando a tecnologia detecta uma publicação que viola as regras, podemos removê-la automaticamente.


Esse é um passo importante para a proteção de mais pessoas na UE. Mas queremos fazer muito mais. O próximo passo é usar a nossa tecnologia não apenas para localizar conteúdo e torná-lo menos visível, mas também para enviá-lo aos nossos analistas humanos e ajudar as pessoas que precisam, como fazemos nos outros lugares do mundo. Como essa medida não está em vigor na UE, é mais difícil colocar as pessoas em contato com organizações locais e serviços de emergência. Por exemplo, nos EUA, entre agosto e outubro, mais de 80% das contas encaminhadas a organizações locais e serviços de emergência foram detectadas pela nossa tecnologia proativa. Atualmente, estamos conversando com reguladores e governos sobre a melhor forma de levar essa tecnologia para a UE, respeitando as respectivas considerações sobre privacidade. Esperamos encontrar o equilíbrio para que possamos ampliar as nossas iniciativas. Essas questões são muito importantes e não podemos parar de agir.


Linha do tempo: medidas que tomamos para lidar com o conteúdo sobre automutilação e suicídio no Instagram

  • Dezembro de 2016: lançamos as denúncias anônimas para publicações sobre automutilação e começamos a colocar pessoas em contato com organizações que podem ajudar.
  • Março de 2017: incluímos no Facebook Live ferramentas de prevenção contra o suicídio, de modo que amigos e familiares tivessem mais facilidade para denunciar conteúdo e entrar em contato com pessoas em tempo real.
  • Novembro de 2017: implementamos uma tecnologia fora dos Estados Unidos (exceto na Europa) para ajudar a identificar quando alguém pode estar expressando pensamentos suicidas, incluindo no Facebook Live. Começamos a usar IA para priorizar denúncias, ajudar pessoas e alertar os serviços de emergência o mais rápido possível.
  • Setembro de 2018: criamos um guia para pais, mães ou responsáveis de adolescentes que usam o Instagram.
  • Fevereiro de 2019: começamos a realizar consultas periódicas com especialistas do mundo todo em segurança e prevenção contra o suicídio, para discutir a complexidade do suicídio e da automutilação, além de receber feedbacks constantes sobre a nossa abordagem.
  • Fevereiro de 2019: ampliamos as nossas políticas para banir todo conteúdo explícito sobre suicídio e automutilação, mesmo se antes o conteúdo fosse permitido. Também dificultamos a presença desse conteúdo nas pesquisas, bloqueamos hashtags relacionadas e aplicamos telas de sensibilidade a todo conteúdo relacionado permitido, oferecendo recursos para mais pessoas que publicassem ou pesquisassem esse tipo de conteúdo.
  • Outubro de 2019: expandimos as nossas políticas para banir conteúdo fictício de automutilação ou suicídio, incluindo memes e ilustrações, além de conteúdo que contenha métodos ou materiais sobre esses temas.
  • Setembro de 2020: colaboramos com a Samaritans para o lançamento de suas novas diretrizes sobre como gerenciar de modo seguro o conteúdo online sobre automutilação e suicídio.
  • Outubro de 2020: inserimos uma mensagem na parte superior de todos os resultados de pesquisas sobre termos relacionados a suicídio ou automutilação. A mensagem oferece suporte e direciona as pessoas a organizações locais que podem ajudá-las.
  • Novembro de 2020: implementamos uma tecnologia na UE para buscar proativamente conteúdos prejudiciais sobre suicídio e automutilação, bem como diminuir sua visibilidade.
  • Agosto de 2021: após consultar especialistas, desenvolvemos uma tecnologia para identificar conteúdos que retratem ou banalizem temas ligados a suicídio, morte ou depressão, além de dificultar sua descoberta. Não removeremos esses conteúdos, mas vamos tentar não recomendá-los em lugares como o Explorar.

Os resultados


É nossa responsabilidade aplicar políticas e medidas contra conteúdo prejudicial, e acreditamos que a comunidade deve saber como estamos realizando esse trabalho. Por isso, publicamos regularmente Relatórios de Aplicação de Padrões da Comunidade, que trazem dados globais sobre a quantidade de conteúdo violador contra o qual estamos tomando medidas, além da porcentagem desse conteúdo que encontramos antes de ser denunciado. A seguinte linha do tempo descreve o progresso que fizemos no combate ao conteúdo relacionado com suicídio e automutilação no Instagram, conforme mostrado nos relatórios.

ARTIGOS RELACIONADOS

Confira mais avisos sobre Instagram