Ein wichtiger Schritt zum besseren Schutz unserer Community in Europa

Aktualisiert am 14. April 2022: Suizid und Selbstverletzung sind komplexe Themen und können verheerende Folgen haben. Wir geben unser Bestes, um unsere Community zu schützen. Deshalb freue ich mich, dass wir heute einen weiteren wichtigen Schritt hin zu mehr Sicherheit der Menschen in unseren Apps ankündigen können. Dank unserer laufenden Gespräche mit dem britischen Ministerium für Gesundheit und Soziales und der britischen Datenschutzbehörde kann unsere proaktive Erkennungstechnologie nun Inhalte mit potenziellem Bezug zu Suizid und Selbstverletzung im Vereinigten Königreich an unser Review-Team senden. Dies geschieht bereits in allen anderen Ländern außerhalb der EU. Unser Team kann dann den Inhalt überprüfen und die entsprechenden Maßnahmen ergreifen, z. B. den Inhalt entfernen, die betroffene Person an lokale Hilfsorganisationen verweisen oder, falls nötig, die Notfalldienste kontaktieren.

Wir nutzen diese Technologie im Vereinigten Königreich und in der EU bereits, um potenzielle Inhalte zu Suizid und Selbstverletzung zu erkennen und sie automatisch weniger sichtbar zu machen, indem wir zum Beispiel verhindern, dass sie empfohlen werden. Wenn die Technologie sehr sicher ist, dass der Inhalt gegen unsere Regeln verstößt, kann sie ihn automatisch entfernen. Aufgrund langwieriger Gespräche mit den Regierungen und Aufsichtsbehörden im Vereinigten Königreich und in der EU über die Funktionsweise der Technologie und die differenzierten Nuancen von Inhalten zu Suizid und Selbstverletzung konnten wir solche Inhalte jedoch bisher nicht an unser Review-Team weiterleiten, um Maßnahmen zu ergreifen.

Dass wir nun zusätzlich zur Technologie unser Review-Team einsetzen können, wird im Vereinigten Königreich eine große Wirkung haben. Dadurch sind wir nicht nur in der Lage, mehr potenziell gefährliche Inhalte von Facebook und Instagram zu entfernen, sondern können auch Menschen, die solche Inhalte teilen, zum richtigen Zeitpunkt an Hilfsorganisationen oder Notfalldienste verweisen.

Wir freuen uns darauf, unsere Gespräche auch mit den zuständigen EU-Behörden fortzusetzen, und hoffen, dass wir dort bald ähnliche Fortschritte für unsere Community erzielen können.

Aktualisiert am 30. September 2021: Die Informationen in diesem Artikel sind möglicherweise veraltet. Aktuelle Informationen zu unseren Detektionstechnologien für Inhalte mit Suizid- und Selbstverletzungsbezug findest du im Safety Center. Wie im Safety Center beschrieben, dienen unsere Algorithmen dazu, Inhalte mit potenziellem Suizid- oder Selbstverletzungsbezug zu identifizieren. Sie können keine psychologischen oder anderen Probleme diagnostizieren oder behandeln.

Aktualisiert am 2. September 2021: Wir sind immer noch auf der Suche nach neuen Möglichkeiten, wie wir unsere Community noch besser unterstützen können. Deshalb treffen wir uns regelmäßig mit Mitgliedern unserer Suicide and Self Injury Advisory Group. Schon seit einiger Zeit beraten uns diese Expert*innen dazu, wie man am besten mit Inhalten umgeht, die zwar nicht gegen unsere Richtlinien verstoßen, die aber Suizid, Tod oder Depressionen möglicherweise grafisch darstellen oder verharmlosen. Expert*innen sind sich einig, dass es wichtig ist, solche Posts zuzulassen. Nutzer*innen sollen über ihre Gefühle sprechen können, Freund*innen und Familienmitglieder sollen die Möglichkeit haben, auf Betroffene zuzugehen. Gleichzeitig möchten wir andere Nutzer*innen davor schützen, Inhalte zu entdecken, die für sie möglicherweise verstörend sind. Aus diesem Grund entfernen wir diese Inhalte nicht, wir machen sie aber weniger sichtbar. In Bereichen wie Explore möchten wir solche Posts beispielsweise nicht empfehlen. Damit gelingt uns hoffentlich der Spagat zwischen Unterstützung und Schutz. Um neue Erkenntnisse im Forschungsbereich Suizidprävention berücksichtigen zu können, besprechen wir uns weiterhin mit Expert*innen aus aller Welt.

Wir geben unser Bestes, um die Menschen auf Instagram zu schützen. Wenn es um so komplexe Themen wie psychische Gesundheit, Suizid und Selbstverletzung geht, arbeiten wir eng mit Expert*innen zusammen. Nur so können wir den betroffenen Menschen wirklich Unterstützung bieten. Wir bei Instagram – mich eingeschlossen – nehmen diese Probleme sehr ernst. In den letzten Jahren haben wir bereits große Fortschritte gemacht. Heute führen wir nun auch in Europa weitere technische Lösungen ein, die unsere Arbeit voranbringen sollen. Unser Einsatz in diesem Bereich geht jedoch immer weiter und wir sind stets auf der Suche nach weiteren Möglichkeiten, um zu helfen.

Uns ist bewusst, dass es bei den betroffenen Personen um sehr persönliche Probleme geht. Die Herausforderungen sind dabei komplex und verändern sich über Zeit. Deswegen aktualisieren wir immer wieder unsere Richtlinien und Produkte. Nur so können wir unserer Community den bestmöglichen Support bieten. Suizid oder selbstverletzendes Verhalten auf Instagram zu befürworten oder dazu aufzurufen, war schon immer streng untersagt. Letztes Jahr haben wir unsere Richtlinien zusätzlich dahingehend verschärft, dass Inhalte mit explizitem Suizidbezug oder einer Darstellung von Selbstverletzung ausnahmslos entfernt werden. Außerdem haben wir unsere Richtlinien auf fiktive Darstellungen der Thematik ausgeweitet und untersagen Illustrationen, Memes und andere Bilder, die Hilfsmittel oder Methoden für Selbstmord oder Selbstverletzung abbilden.

Aber es reicht nicht aus, diese komplizierte Problematik nur mithilfe von Richtlinien und Produkten anzugehen. Unserer Meinung nach ist es wichtig, betroffenen Menschen Hilfe und Unterstützung anzubieten. Wenn jemand nach Konten oder Hashtags im Zusammenhang mit Suizid oder Selbstverletzung sucht, bieten wir Unterstützung an und leiten diese Personen an Hilfsorganisationen vor Ort weiter. Darüber hinaus haben wir zusammen mit Samaritans, einer britischen Seelsorge-Organisation zur Suizidprävention, Branchenrichtlinien erarbeitet. Diese sollen Plattformen wie Instagram dabei helfen, gegen schädliche Inhalte vorzugehen und den Betroffenen aber gleichzeitig wichtige Hilfe anzubieten.

Mithilfe unserer Technologie suchen und entfernen wir proaktiv Inhalte mit Suizidbezug oder über selbstverletzendes Verhalten. Unser System findet Beiträge, die von Suizid oder Selbstverletzung handeln, und leitet sie an unsere Mitarbeitenden weiter, welche die Beiträge überprüfen und anschließend über das beste Vorgehen entscheiden. Hierzu kann gehören, dass wir den Inhalt entfernen, dem*der Verfasser*in des Beitrags lokale Hilfsorganisationen empfehlen oder im Ernstfall auch direkt die Notfalldienste anrufen. Zwischen April und Juni 2020 wurden über 90 % der Inhalte zum Thema Suizid und Selbstverletzung von unserer eigenen Technologie gefunden, ohne dass dafür die Meldung von Nutzer*innen nötig war. Unser Ziel ist, bei der proaktiven Auffindung von solchen Inhalten so nah wie möglich an 100 % zu kommen.

Bisher konnten wir diese Technologie zum Auffinden von Inhalten, die mit Selbsttötung oder Selbstverletzung zu tun haben, nur außerhalb der Europäischen Union einsetzen. Deshalb war es in Europa für uns bisher schwer, solchen Content proaktiv zu finden und den Betroffenen zu helfen. Umso mehr freue ich mich, dass wir ab heute einen Teil dieser Technologie auch in der EU einsetzen können – und zwar auf Facebook und Instagram. Jetzt können wir effektiver nach Beiträgen suchen, die gegen unsere Richtlinien bezüglich Suizid und Selbstverletzung verstoßen. Nur so lässt sich die Sichtbarkeit solcher Posts einschränken, indem wir sie automatisch aus Bereichen wie beispielsweise Explore entfernen. Wenn unser System ermittelt, dass ein Beitrag mit sehr hoher Wahrscheinlichkeit nicht unseren Richtlinien entspricht, können wir diesen jetzt auch automatisch komplett entfernen.

Dies ist ein wichtiger Schritt, um unsere Nutzer*innen in der EU besser zu schützen und Hilfe anzubieten. Aber wir möchten noch viel mehr tun. Der nächste Schritt für uns wäre, mit unserer Technologie solchen schädlichen Content nicht nur aufzuspüren und weniger sichtbar zu machen. Vielmehr wollen wir diese Inhalte an unsere Review-Mitarbeitenden senden, die Hilfsmaßnahmen einleiten können – so wie wir das überall sonst auf der Welt schon tun. Dass uns diese Möglichkeit in der EU nicht zur Verfügung steht, erschwert es uns, die Betroffenen an Seelsorge- und Notfalldienste vor Ort zu verweisen. In den USA wurden beispielsweise 80 % der Konten, deren Nutzer*innen wir zwischen August und Oktober an lokale Seelsorge- und Notfalldienste verwiesen haben, mithilfe unserer proaktiven Systeme entdeckt. Derzeit beraten wir mit verschiedenen Behörden und Regierungen darüber, wie wir diese Technologie unter Einhaltung der Datenschutzauflagen auch innerhalb der EU einsetzen könnten. Wir sind optimistisch, dass wir bald eine zufriedenstellende Lösung für alle finden können. Das Thema ist einfach zu wichtig, um Möglichkeiten zur Hilfe unversucht zu lassen.

Zeitleiste: Schritte, die wir unternommen haben, um gegen Inhalte mit Bezug zu Selbstverletzung oder Suizid auf Instagram vorzugehen

• Dezember 2016: Es werden neue Tools eingeführt, mit denen sich Posts über Selbstverletzung anonym melden lassen. Wir fangen außerdem an, betroffene Nutzer*innen an Seelsorge-Organisationen zu verweisen.
• März 2017: Es werden Suizidpräventions-Tools in Facebook Live integriert, mit denen Freund*innen und Familienmitglieder gefährdete Personen einfacher melden und in Echtzeit kontaktieren können.
• November 2017: Es wird eine Technologie außerhalb der USA (außer in Europa) eingeführt, die bei der Suche nach Nutzer*innen mit Suizidgedanken hilft. Diese ist unter anderem auf Facebook Live verfügbar. Mithilfe künstlicher Intelligenz werden gemeldete Posts in der Prüfung nun priorisiert. Das hilft uns dabei, Nutzer*innen so schnell wie möglich Hilfe zu senden und Notfalldienste zu verständigen.
• September 2018: Wir erarbeiten einen Leitfaden für Eltern, deren jugendliche Kinder Instagram nutzen.
• Februar 2019: Wir beraten uns regelmäßig mit Expert*innen aus aller Welt zum Thema Suizid und Selbstverletzung. Diese Gespräche drehen sich um die komplexen Probleme im Kontext von Selbstmord oder Selbstverletzung und liefern uns regelmäßiges Expert*innenfeedback zu unseren Maßnahmen.
• Februar 2019: Wir verschärfen unsere Richtlinien so, dass sämtlicher grafischer Content zum Thema Suizid und Selbstverletzung gesperrt wird, auch wenn Nutzer*innen damit auf persönliche Probleme aufmerksam machen möchten. Wir erschweren zusätzlich die Suche nach solchen Inhalten, blockieren zugehörige Hashtags und lassen Content, in dem Nutzer*innen ihren Kampf gegen Suizidgedanken und Selbstverletzung thematisieren, auf sensible Inhalte überprüfen. Auf diese Weise können wir noch mehr Menschen, die solche Inhalte posten oder danach suchen, an verfügbare Hilfsangebote verweisen.
• Oktober 2019: Wir erweitern unsere Richtlinien und sperren auch fiktive Inhalte zu Selbstverletzung oder Suizid, wie Memes und Illustrationen, sowie Inhalte zu Methoden oder Hilfsmitteln.
• September 2020: Wir arbeiten mit den Samaritans zusammen und unterstützen sie bei ihren neuen Richtlinien zum verantwortungsvollen Umgang mit Onlineinhalten über Selbstverletzung und Selbstmord.
• Oktober 2020: Wenn Nutzer*innen nach Begriffen zum Thema Suizid oder Selbstverletzung suchen, zeigen wir ganz oben in den Suchergebnissen einen Hinweis an. In diesem Hinweis bieten wir den Nutzer*innen Hilfe an und machen auf lokale Hilfsorganisationen aufmerksam.
• November 2020: Auch in der EU können wir nun Technologie nutzen, um proaktiv mehr schädliche Inhalte mit Suizidbezug oder zum Thema Selbstverletzung zu finden und weniger sichtbar zu machen.
• August 2021: Nach Rücksprache mit Expert*innen führen wir eine technologische Lösung ein, die Content aufspürt, der Suizid, Tod oder Depressionen grafisch darstellt oder verharmlost. Anschließend werden solche Inhalte schwerer auffindbar gemacht. Wir entfernen Inhalte wie diese also nicht, aber wir sorgen dafür, dass sie in Bereichen wie Explore weniger sichtbar sind.

Die Zahlen

Wir sind der Meinung, dass unsere Community unser dafür zur Rechenschaft ziehen sollte, wie gut wir unsere Richtlinien durchsetzen und gegen schädliche Inhalte vorgehen. Darum veröffentlichen wir regelmäßig Berichte zur Durchsetzung der Gemeinschaftsstandards und machen öffentlich, gegen wie viele schädliche Inhalte wir weltweit Maßnahmen ergriffen haben und wie viele solcher Inhalte wir entfernen konnten, bevor sie gemeldet wurden. Folgende Übersicht zeigt, welche Fortschritte wir bisher gemacht haben bei unserem Vorgehen gegen Inhalte zum Thema Suizid und Selbstverletzung.

• 2. Quartal 2019 Bericht zur Durchsetzung der Gemeinschaftsstandards: Wir sind gegen 835.000 Inhalte vorgegangen, fast 78 % davon wurden proaktiv identifiziert.
• 3. Quartal 2019 Bericht zur Durchsetzung der Gemeinschaftsstandards: Wir sind gegen 845.000 Inhalte zu Suizid und Selbstverletzungen vorgegangen, mehr als 79 % davon wurden proaktiv identifiziert.
• 4. Quartal 2019 Bericht zur Durchsetzung der Gemeinschaftsstandards: Wir sind gegen 897.000 Inhalte vorgegangen, mehr als 83 % davon wurden proaktiv identifiziert.
• 1. Quartal 2020 Bericht zur Durchsetzung der Gemeinschaftsstandards: Wir sind gegen 1,3 Millionen Inhalte vorgegangen, fast 90 % davon wurden proaktiv identifiziert.
• 2. Quartal 2020 Bericht zur Durchsetzung der Gemeinschaftsstandards: Wir sind gegen 275.000 Inhalte vorgegangen, fast 94 % davon wurden proaktiv identifiziert. Unsere Überprüfungsrate war in diesem Zeitraum geringer, da die COVID-19-Pandemie Auswirkungen auf die Kapazitäten unserer Prüfer*innen hatte.
• 3. Quartal 2020 Bericht zur Durchsetzung der Gemeinschaftsstandards: Wir sind gegen 1,3 Millionen Inhalte vorgegangen, mehr als 95 % davon wurden proaktiv identifiziert. Die Kapazitäten unserer Prüfer*innen sind nach wie vor durch die COVID-19-Pandemie beeinträchtigt. Dank der Fortschritte im Bereich der künstlichen Intelligenz konnten wir aber unsere Überprüfungsrate wieder auf einen ähnlichen Stand wie vor der Pandemie anheben.
• 4. Quartal 2020 Bericht zur Durchsetzung der Gemeinschaftsstandards: Wir sind gegen 3,4 Millionen Inhalte vorgegangen, mehr als 94 % davon wurden proaktiv identifiziert.
• 1. Quartal 2021 Bericht zur Durchsetzung der Gemeinschaftsstandards: Wir sind gegen 2,7 Millionen Inhalte vorgegangen, mehr als 94 % davon wurden proaktiv identifiziert.
• 2. Quartal 2021 Bericht zur Durchsetzung der Gemeinschaftsstandards: Wir sind gegen 3 Millionen Inhalte vorgegangen, 96 % davon wurden proaktiv identifiziert.