Ein wichtiger Schritt zum besseren Schutz unserer Community in Europa

Wir geben unser Bestes, um die Menschen auf Instagram zu schützen. Wenn es um so komplexe Themen wie psychische Gesundheit, Suizid und Selbstverletzung geht, arbeiten wir eng mit Experten zusammen. Nur so können wir den betroffenen Menschen wirklich Unterstützung bieten. Wir bei Instagram – mich eingeschlossen – nehmen diese Probleme sehr ernst. In den letzten Jahren haben wir bereits große Fortschritte gemacht. Heute führen wir nun auch in Europa weitere technische Lösungen ein, die unsere Arbeit voranbringen sollen. Unser Einsatz in diesem Bereich geht jedoch immer weiter und wir sind stets auf der Suche nach weiteren Möglichkeiten, um zu helfen.

Uns ist bewusst, dass es bei den betroffenen Personen um sehr persönliche Probleme geht. Die Herausforderungen sind dabei komplex und verändern sich über Zeit. Deswegen aktualisieren wir immer wieder unsere Richtlinien und Produkte. Nur so können wir unserer Community den bestmöglichen Support bieten. Suizid oder selbstverletzendes Verhalten auf Instagram zu befürworten oder dazu aufzurufen, war schon immer streng untersagt. Letztes Jahr haben wir unsere Richtlinien zusätzlich dahingehend verschärft, dass Inhalte mit explizitem Suizidbezug oder einer Darstellung von Selbstverletzung ausnahmslos entfernt werden. Außerdem haben wir unsere Richtlinien auf fiktive Darstellungen der Thematik ausgeweitet und untersagen Illustrationen, Memes und andere Bilder, die Hilfsmittel oder Methoden für Selbstmord oder Selbstverletzung abbilden.

Aber es reicht nicht aus, diese komplizierte Problematik nur mithilfe von Richtlinien und Produkten anzugehen. Unserer Meinung nach ist es wichtig, betroffenen Menschen Hilfe und Unterstützung anzubieten. Wenn jemand nach Konten oder Hashtags im Zusammenhang mit Suizid oder Selbstverletzung sucht, bieten wir Unterstützung an und leiten diese Personen an Hilfsorganisationen vor Ort weiter. Darüber hinaus haben wir zusammen mit Samaritans, einer britischen Seelsorge-Organisation zur Suizidprävention, Branchenrichtlinien erarbeitet. Diese sollen Plattformen wie Instagram dabei helfen, gegen schädliche Inhalte vorzugehen und den Betroffenen aber gleichzeitig wichtige Hilfe anzubieten.

Mithilfe unserer Technologie suchen und entfernen wir proaktiv Inhalte mit Suizidbezug oder über selbstverletzendes Verhalten. Unser System findet Beiträge, die von Suizid oder Selbstverletzung handeln, und leitet sie an unsere Mitarbeiter weiter, die die Beiträge überprüfen und anschließend über das beste Vorgehen entscheiden. Hierzu kann gehören, dass wir den Inhalt entfernen, dem Verfasser des Beitrags lokale Hilfsorganisationen empfehlen oder im Ernstfall auch direkt die Notfalldienste anrufen. Zwischen April und Juni 2020 wurden über 90 % der Inhalte zum Thema Suizid und Selbstverletzung von unserer eigenen Technologie gefunden, ohne dass dafür die Meldung von einem Nutzer nötig war. Unser Ziel ist, bei der proaktiven Auffindung von solchen Inhalten so nah wie möglich an 100 % zu kommen.

Bisher konnten wir diese Technologie zum Auffinden von Inhalten, die mit Selbsttötung oder Selbstverletzung zu tun haben, nur außerhalb der Europäischen Union einsetzen. Deshalb war es in Europa für uns bisher schwer, solchen Content proaktiv zu finden und den Betroffenen zu helfen. Umso mehr freue ich mich, dass wir ab heute einen Teil dieser Technologie auch in der EU einsetzen können – und zwar auf Facebook und Instagram. Jetzt können wir effektiver nach Beiträgen suchen, die gegen unsere Richtlinien bezüglich Suizid und Selbstverletzung verstoßen. Nur so lässt sich die Sichtbarkeit solcher Posts einschränken, indem wir sie automatisch aus Bereichen wie beispielsweise Explore entfernen. Wenn unser System ermittelt, dass ein Beitrag mit sehr hoher Wahrscheinlichkeit nicht unseren Richtlinien entspricht, können wir diesen jetzt auch automatisch komplett entfernen.

Dies ist ein wichtiger Schritt, um unsere Nutzer in der EU besser zu schützen und Hilfe anzubieten. Aber wir möchten noch viel mehr tun. Der nächste Schritt für uns wäre, mit unserer Technologie solchen schädlichen Content nicht nur aufzuspüren und weniger sichtbar zu machen. Vielmehr wollen wir diese Inhalte an unsere Review-Mitarbeiter senden, die Hilfsmaßnahmen einleiten können – so wie wir das überall sonst auf der Welt schon tun. Dass uns diese Möglichkeit in der EU nicht zur Verfügung steht, erschwert es uns, die Betroffenen an Seelsorge- und Notfalldienste vor Ort zu verweisen. In den USA wurden beispielsweise 80 % der Konten, deren Nutzer wir zwischen August und Oktober an lokale Seelsorge- und Notfalldienste verwiesen haben, mithilfe unserer proaktiven Systeme entdeckt. Derzeit beraten wir mit verschiedenen Behörden und Regierungen darüber, wie wir diese Technologie unter Einhaltung der Datenschutzauflagen auch innerhalb der EU einsetzen könnten. Wir sind optimistisch, dass wir bald eine zufriedenstellende Lösung für alle finden können. Das Thema ist einfach zu wichtig, um Möglichkeiten zur Hilfe unversucht zu lassen.

Zeitstrahl unserer Maßnahmen gegen Inhalte mit Suizid-/Selbstverletzungsbezug auf Instagram

• Dezember 2016: Es werden neue Tools eingeführt, mit denen man Posts über Selbstverletzung anonym melden kann. Anfang, betroffene Nutzer an Seelsorge-Organisationen zu verwiesen.
• März 2017: Es werden Suizidpräventions-Tools in Facebook Live integriert, mit denen Freunde und Familienmitglieder gefährdete Personen einfacher melden und in Echtzeit kontaktieren können.
• November 2017: Es wird eine Technologie außerhalb der USA (außer in Europa) eingeführt, die bei der Suche nach Nutzern mit Suizidgedanken hilft. Diese ist unter anderem auf Facebook Live verfügbar. Mithilfe künstlicher Intelligenz werden gemeldete Posts in der Prüfung nun priorisiert. Das hilft uns dabei, Nutzern so schnell wie möglich Hilfe zu senden und Notfalldienste zu verständigen.
• September 2018: Zusammen mit Jugendlichen, die Instagram nutzen, präsentieren wir einen Leitfaden für Eltern.
• Februar 2019: Wir beraten uns regelmäßig mit Experten aus aller Welt zum Thema Suizid und Selbstverletzung. Diese Gespräche drehen sich um die komplexen Probleme im Kontext von Selbstmord oder Selbstverletzung und liefern uns regelmäßiges Expertenfeedback zu unseren Maßnahmen.
• Februar 2019: Wir verschärfen unsere Richtlinien so, dass sämtlicher grafischer Content zum Thema Suizid und Selbstverletzung gesperrt wird, auch wenn der Nutzer damit auf persönliche Probleme aufmerksam machen möchte. Wir erschweren zusätzlich die Suche nach solchen Inhalten, blockieren zugehörige Hashtags und lassen Content, in dem Nutzer ihren Kampf gegen Suizidgedanken und Selbstverletzung thematisieren, auf sensible Inhalte überprüfen. Auf diese Weise können wir noch mehr Menschen, die solche Inhalte posten oder danach suchen, an verfügbare Hilfsangebote verweisen.
• Oktober 2019: Wir erweitern unsere Richtlinien und sperren auch fiktive Inhalte zu Selbstverletzung oder Suizid, wie Memes und Illustrationen, sowie Inhalte zu Methoden oder Hilfsmitteln.
• September 2020: Wir arbeiten mit den Samaritans zusammen und unterstützen sie bei ihren neuen Richtlinien zum verantwortungsvollen Umgang mit Online-Content über Selbstverletzung und Selbstmord.
• Oktober 2020: Wenn ein Nutzer nach Begriffen zum Thema Suizid oder Selbstverletzung sucht, zeigen wir ganz oben in den Suchergebnissen einen Hinweis an. In diesem Hinweis bieten wir dem Nutzer Hilfe an und machen auf lokale Hilfsorganisationen aufmerksam.
• November 2020: Auch in der EU können wir nun Technologie nutzen, um proaktiv mehr schädliche Inhalte mit Suizidbezug oder zum Thema Selbstverletzung zu finden und weniger sichtbar zu machen.

Unser Fortschritt in Zahlen

Unsere Community soll uns daran messen können, wie gut wir unsere Richtlinien und Maßnahmen bezüglich schädlichen Inhalten umsetzen. Darum veröffentlichen wir regelmäßig Berichte zur Durchsetzung der Gemeinschaftsstandards und machen öffentlich, gegen wie viele schädliche Inhalte wir weltweit Maßnahmen ergriffen haben und wie viele solcher Inhalte wir entfernen konnten, bevor sie gemeldet wurden. Folgende Übersicht zeigt, welche Fortschritte wir bisher gemacht haben bei unserem Vorgehen gegen Inhalte zum Thema Suizid und Selbstverletzung.

• Q2 2019 – Bericht zur Durchsetzung der Gemeinschaftsstandards: Wir sind gegen 835.000 Inhalte zum Thema Suizid und Selbstverletzung vorgegangen, fast 78 % davon konnten wir proaktiv ermitteln.
• Q3 2019 – Bericht zur Durchsetzung der Gemeinschaftsstandards: Wir sind gegen 845.000 Inhalte zum Thema Suizid und Selbstverletzung vorgegangen, über 79 % davon konnten wir proaktiv ermitteln.
• Q4 2019 – Bericht zur Durchsetzung der Gemeinschaftsstandards: Wir sind gegen 897.000 Inhalte zum Thema Suizid und Selbstverletzung vorgegangen, über 83 % davon konnten wir proaktiv ermitteln.
• Q1 2020 – Bericht zur Durchsetzung der Gemeinschaftsstandards: Wir sind gegen 1,3 Mio. Inhalte zum Thema Suizid und Selbstverletzung vorgegangen, fast 90 % davon konnten wir proaktiv ermitteln.
• Q2 2020 – Bericht zur Durchsetzung der Gemeinschaftsstandards: Wir sind gegen 275.000 Inhalte zum Thema Suizid und Selbstverletzung vorgegangen, fast 94 % davon konnten wir proaktiv ermitteln. Unsere Überprüfungsrate war in diesem Zeitraum geringer, da die COVID-19-Pandemie Auswirkungen auf unsere Prüfer-Kapazitäten hatte.
• Q3 2020 – Bericht zur Durchsetzung der Gemeinschaftsstandards: Wir sind gegen 1,3 Mio. Inhalte zum Thema Suizid und Selbstverletzung vorgegangen, mehr als 95 % davon konnten wir proaktiv ermitteln. Unsere Prüfer-Kapazitäten sind nach wie vor durch die COVID-19-Pandemie beeinträchtigt. Dank der Fortschritte im Bereich der künstlichen Intelligenz konnten wir aber unsere Überprüfungsrate wieder auf einen ähnlichen Stand wie vor der Pandemie anheben.