Une avancée majeure vers une meilleure protection de notre communauté en Europe

Mise à jour du 14/04/22 : le suicide et l’automutilation sont des problèmes complexes qui peuvent avoir des conséquences dramatiques. Nous voulons mettre tout en œuvre pour épauler notre communauté. Je suis donc ravi d’annoncer que nous avons franchi une nouvelle étape importante dans la protection des utilisateur·ices de nos applications. Grâce à nos échanges ininterrompus avec le Département de la santé et l’organisme de régulation de la protection des données du Royaume-Uni, nous avons mis au point une technologie de détection proactive qui repère le contenu potentiellement relatif au suicide et à l’automutilation au Royaume-Uni et le signale à notre équipe de modération. Cette technologie est déjà en place partout dans le monde, sauf dans l’Union européenne. Nos équipes de modération peuvent alors examiner le contenu et prendre des mesures adaptées : supprimer le contenu, orienter l’auteur·ice vers des organisations d’aide locales ou même contacter les services d’urgence lorsque la situation l’exige.

Jusqu’à présent, nous avons pu utiliser cette technologie au Royaume-Uni et dans l’UE pour identifier le contenu potentiellement relatif au suicide ou à l’automutilation et réduire automatiquement sa visibilité, par exemple en l’empêchant d’apparaître dans les recommandations. Lorsque la technologie détectait une violation de nos règles avec une grande fiabilité, elle pouvait même automatiquement supprimer le contenu en question. Toutefois, en raison d’un long débat avec les gouvernements et les organismes de régulation du Royaume-Uni et de l’UE concernant le fonctionnement de notre technologie et la nature ambivalente du contenu portant sur le suicide et l’automutilation, nous ne pouvions pas envoyer ce type de contenu à notre équipe de modération pour qu’elle avise de la marche à suivre.

Désormais, nous pouvons combiner les efforts de notre technologie et de notre équipe de modération pour faire avancer les choses au Royaume-Uni. Cela nous permettra de supprimer davantage de contenu potentiellement nuisible sur Facebook et Instagram, ainsi que de mettre en relation les auteur·ices de ce type de contenu avec les organisations dont elles et ils peuvent avoir besoin, comme les organismes de soutien ou les services d’urgence.

Nous avons hâte de poursuivre nos discussions avec l’organisme de régulation principal de l’UE et nous espérons pouvoir présenter des avancées similaires à notre communauté très prochainement.

Mise à jour du 30/09/21 : les informations contenues dans cet article sont peut-être obsolètes. Pour consulter des informations à jour sur nos technologies de détection du contenu sur le suicide et l’automutilation, accédez à notre centre de sécurité. Comme indiqué dans le centre de sécurité, nos algorithmes sont conçus pour identifier le contenu portant potentiellement sur le suicide et l’automutilation, sans fins de diagnostic ou de traitement de maladies mentales ou d’autres maladies.

Mise à jour du 02/09/21 : nous cherchons continuellement de nouvelles manières d’apporter notre soutien à la communauté, et nous organisons des rencontres régulières avec notre groupe consultatif chargé des questions liées au suicide et à l’automutilation. Depuis un moment, nous consultons ces spécialistes afin de déterminer la meilleure approche à adopter pour gérer certains types de contenu spécifiques qui n’enfreignent pas nos règles, mais qui abordent ou banalisent des sujets comme le suicide, la mort ou la dépression. Les spécialistes reconnaissent qu’il est important d’autoriser ce type de publication pour que les internautes puissent exprimer ce qu’elles et ils ressentent et que leurs familles et leurs proches puissent les contacter. Cela dit, il est également important de faire le nécessaire pour protéger les autres internautes contre certains contenus susceptibles d’être dérangeants. C’est pourquoi, plutôt que de supprimer complètement ces contenus, nous allons faire en sorte de ne plus les recommander dans des endroits tels qu’Explorer, afin qu’ils soient plus difficiles à trouver. Nous espérons ainsi parvenir à trouver cet équilibre délicat et nous continuerons à consulter les spécialistes au fur et à mesure des avancées de la recherche dans ce domaine.

Nous voulons faire tout notre possible pour assurer la sécurité des utilisateur·ices d’Instagram. Nous avons travaillé avec des spécialistes pour mieux comprendre les questions profondément complexes que sont la santé mentale, le suicide et l’automutilation, ainsi que pour déterminer la meilleure façon de soutenir les personnes vulnérables. Personne chez Instagram ne prend ces questions à la légère, moi y compris. Nous avons progressé ces dernières années et déployons aujourd’hui plus de technologies en Europe pour accompagner nos efforts. Toutefois, notre travail n’est jamais terminé et nous devons constamment chercher des moyens d’en faire plus.

Nous avons conscience du fait qu’il s’agit de sujets très personnels pour les personnes concernées. Ils sont également complexes et en constante évolution, c’est pourquoi nous continuons à mettre à jour nos règles et nos produits afin de pouvoir soutenir au mieux notre communauté. Nous n’avons jamais permis à quiconque de promouvoir ou d’encourager le suicide ou l’automutilation sur Instagram, et l’année dernière, nous avons mis à jour nos règles afin de supprimer tout contenu explicite en la matière. Nous avons aussi élargi nos règles pour interdire les représentations fictives comme les dessins, les memes ou autres images qui présentent des informations ou des méthodes associées au suicide ou à l’automutilation.

Il ne suffit pas d’aborder ces questions difficiles à travers nos règles et nos produits. Nous sommes convaincus qu’il est également important d’apporter une aide aux personnes en difficulté. Nous offrons un soutien aux personnes qui recherchent des comptes ou des hashtags liés au suicide et à l’automutilation, et les orientons vers des organisations locales capables de les aider. En outre, nous avons aidé Samaritans, une organisation caritative de prévention du suicide, à élaborer ses guides de bonnes pratiques, qui sont conçues pour aider les plateformes comme la nôtre à trouver un équilibre important entre la lutte contre les contenus nuisibles et la mise à disposition de ressources de soutien pour celles et ceux qui en ont besoin.

Nous utilisons la technologie pour trouver et supprimer de manière proactive toujours plus de contenus nuisibles sur le suicide et l’automutilation. Notre technologie permet de repérer les publications susceptibles de contenir des contenus portant sur le suicide ou l’automutilation et de les soumettre à un examen manuel pour prendre la décision finale et les mesures appropriées. Ces mesures comprennent le retrait du contenu, la mise en relation de la personne à l’origine de la publication avec des organisations locales qui peuvent l’aider ou, dans les cas les plus graves, le recours aux services d’urgence. Entre avril et juin de cette année, plus de 90 % des contenus relatifs au suicide et à l’automutilation pour lesquels nous sommes intervenus ont été détectés par notre propre technologie avant même qu’un·e internaute ne nous les signale. Toutefois, notre objectif est de nous rapprocher le plus possible des 100 %.

Jusqu’à présent, nous n’avons pu utiliser cette technologie que pour identifier des contenus sur le suicide et l’automutilation en dehors de l’Union européenne, ce qui nous a compliqué la tâche pour détecter des contenus de manière proactive et envoyer de l’aide aux personnes. Je suis heureux de vous annoncer que nous déployons aujourd’hui dans l’Union européenne une partie de cette technologie, qui fonctionnera à la fois sur Facebook et Instagram. Nous pouvons désormais rechercher les publications susceptibles d’enfreindre nos règles en matière de suicide et d’automutilation et les rendre moins visibles en les supprimant automatiquement d’endroits comme Explorer. De plus, lorsque notre technologie est vraiment sûre qu’une publication enfreint nos règles, nous pouvons maintenant la supprimer automatiquement.

Il s’agit d’une avancée importante qui permettra de protéger davantage de personnes dans l’Union européenne. Mais nous voulons faire bien plus. La prochaine étape consiste à utiliser notre technologie non seulement pour trouver le contenu et le rendre moins visible, mais aussi pour l’envoyer à nos examinateurs humains et venir en aide aux utilisateurs, comme nous le faisons partout ailleurs dans le monde. En l’absence de ce dispositif dans l’Union européenne, il nous est plus difficile de mettre les personnes en contact avec les organisations locales et les services d’urgence. Par exemple, entre août et octobre, aux États-Unis, plus de 80 % des comptes que nous avons signalés aux organisations locales et aux services d’urgence ont été détectés par notre technologie proactive. Nous sommes actuellement en pourparlers avec les responsables de la réglementation et les gouvernements sur la meilleure façon de déployer cette technologie dans l’Union européenne, tout en protégeant la vie privée des utilisateurs. Nous estimons et espérons pouvoir trouver le bon équilibre afin de pouvoir faire plus. Nous ne pouvons pas nous arrêter en si bon chemin au vu de l’importance de ces questions.

Historique des mesures prises pour lutter contre les contenus relatifs à l’automutilation et au suicide sur Instagram

• Décembre 2016 : lancement du signalement anonyme des publications portant sur l’automutilation et la mise en relation des personnes avec des organisations susceptibles de leur venir en aide.
• Mars 2017 : intégration d’outils de prévention du suicide dans Facebook Live, ce qui permet aux ami·es et à la famille de faire plus facilement des signalements et d’entrer en contact avec les utilisateur·ices en temps réel.
• Novembre 2017 : déploiement de notre technologie en dehors des États-Unis (sauf en Europe) pour détecter lorsqu’un·e internaute exprime des pensées suicidaires, notamment sur Facebook Live. Début du recours à l’IA pour hiérarchiser les signalements, venir en aide aux personnes concernées et alerter les services d’urgence le plus rapidement possible.
• Septembre 2018 : création d’un guide destiné aux parents d’ados qui utilisent Instagram.
• Février 2019 : organisation de consultations régulières avec des spécialistes de la sécurité et de la prévention du suicide dans le monde entier pour discuter de la complexité croissante du suicide et de l’automutilation, et pour obtenir un retour d’information régulier sur notre approche.
• Février 2019 : élargissement de nos règles en vue d’interdire tout contenu explicite lié au suicide et à l’automutilation, ayant même été autorisé auparavant. Nous avons également rendu ce contenu plus difficile à trouver lors des recherches, bloqué les hashtags associés et appliqué des écrans de sensibilité à tous les contenus préalablement autorisés, envoyant ainsi des ressources à un plus grand nombre de personnes publiant ou recherchant ce type de contenu.
• Octobre 2019 : élargissement de nos règles en vue d’interdire les contenus fictifs sur l’automutilation ou le suicide, y compris les memes et les illustrations, et ceux présentant des méthodes ou des informations en la matière.
• Septembre 2020 : collaboration avec l’organisation Samaritains pour le lancement de son nouveau guide sur la manière de gérer en toute sécurité les contenus en ligne relatifs à l’automutilation et au suicide.
• Octobre 2020 : ajout d’un message en haut de tous les résultats de recherche, lorsque vous recherchez des termes liés au suicide ou à l’automutilation. Le message offre un soutien aux internautes et les redirige vers les organisations locales capables de les aider.
• Novembre 2020 : déploiement de notre technologie dans l’Union européenne pour détecter de manière proactive les contenus plus nuisibles portant sur le suicide et l’automutilation et les rendre moins visibles.
• Août 2021 : après consultation avec des spécialistes, déploiement de moyens technologiques visant à identifier les contenus qui dépeignent ou banalisent des thèmes comme le suicide, la mort ou la dépression, et mise en place de solutions pour les rendre plus difficiles à trouver. Ces contenus ne seront pas supprimés, mais nous essaierons de ne pas les recommander dans des endroits comme Explorer.

Les chiffres

Nous estimons que notre communauté doit être en mesure de nous mettre devant nos responsabilités quant à l’application de nos règles et aux mesures que nous prenons contre les contenus nuisibles. C’est pourquoi nous publions régulièrement des rapports sur l’application de nos Standards de la communauté afin de partager des données mondiales sur le nombre de contenus enfreignant nos règles que nous traitons et sur le pourcentage de ces contenus que nous détectons nous-mêmes, avant qu’ils ne soient signalés. Cet historique présente les progrès que nous avons réalisés dans la lutte contre les contenus relatifs au suicide et à l’automutilation sur Instagram, comme le montrent ces rapports.

• Rapport d’application des Standards de la communauté, T2 2019 : mesures prises sur 835 000 contenus, dont près de 78 % ont été détectés de manière proactive.
• Rapport sur l’application des Standards de la communauté, T3 2019 : mesures prises sur 845 000 contenus relatifs au suicide et à l’automutilation, dont plus de 79 % ont été détectés de manière proactive.
• Rapport sur l’application des Standards de la communauté, T4 2019 : mesures prises sur 897 000 contenus, dont plus de 83 % ont été détectés de manière proactive.
• Rapport sur l’application des Standards de la communauté, T1 2020 : mesures prises sur 1,3 million de contenus, dont près de 90 % ont été identifiés de manière proactive.
• Rapport sur l’application des Standards de la communauté, T2 2020 : mesures prises sur 275 000 contenus, dont près de 94 % ont été détectés de manière proactive. Nos chiffres en matière d’application ont été plus faibles au cours de cette période, en raison de l’impact du COVID-19 sur l’examen des contenus.
• Rapport sur l’application des Standards de la communauté, T3 2020 : mesures prises sur 1,3 million de contenus, dont près de 95 % ont été identifiés de manière proactive. Si le COVID-19 continue d’avoir un impact sur l’examen de contenu, les chiffres de mise en application sont revenus à ce qu’ils étaient avant la pandémie, grâce aux améliorations apportées à l’IA.
• Rapport sur l’application des Standards de la communauté, T4 2020 : mesures prises sur 3,4 millions de contenus, dont plus de 94 % ont été identifiés de manière proactive.
• Rapport sur l’application des Standards de la communauté, T1 2021 : mesures prises sur 2,7 millions de contenus, dont plus de 94 % ont été identifiés de manière proactive.
• Rapport sur l’application des Standards de la communauté, T2 2021 : mesures prises sur 3 millions de contenus, dont près de 96 % ont été identifiés de manière proactive.