Ein wichtiger Schritt zum besseren Schutz unserer Community in Europa

Von Adam Mosseri, Head of Instagram

November 10, 2020

Wir wollen alles tun, was in unserer Macht steht, um die Menschen auf Instagram zu schützen. Daher haben wir uns von Experten beraten lassen, um die komplexen Sachverhalte der Themen psychische Gesundheit, Suizid und Selbstverletzung zu verstehen. Nur so können wir gefährdete Personen besser unterstützen. Wir bei Instagram nehmen diese Probleme sehr ernst – mich eingeschlossen. In den letzten Jahren haben wir schon große Fortschritte gemacht und führen heute weitere technische Lösungen in Europa ein, um unser Anliegen zu unterstützen. Aber besser geht es immer und darum sind wir stets auf der Suche nach neuen Hilfemaßnahmen.


Uns ist bewusst, dass es hier um sehr persönliche Probleme der betroffenen Personen geht. Diese Thematik ist äußerst komplex und bringt stetig neue Erkenntnisse hervor. Aus diesem Grund aktualisieren wir auch immer wieder unsere Richtlinien und Produkte. Nur so können wir unserer Community den besten Support bieten. Suizid oder selbstverletzendes Verhalten auf Instagram anzupreisen oder dazu aufzurufen war schon immer streng untersagt. Letztes Jahr haben wir unsere Richtlinien zusätzlich dahingehend verschärft, dass Inhalte mit explizitem Suizidbezug oder einer Darstellung von Selbstverletzung ausnahmslos entfernt werden. Zudem haben wir unsere Richtlinien auf fiktive Darstellungen der Thematik ausgeweitet und untersagen Illustrationen, Memes und andere Bilder, die Hilfsmittel oder Methoden für die Selbsttötung oder Selbstverletzung abbilden.


Es reicht nicht aus, diese komplizierte Problematik nur mithilfe von Richtlinien und Produkten anzupacken. Unserer Meinung nach ist es genauso wichtig, betroffenen Personen Hilfe und Unterstützung anzubieten. Wenn Nutzer nach Konten oder Hashtags im Zusammenhang mit Suizid oder Selbstverletzung suchen, bieten wir Unterstützung an und leiten sie an Hilfsorganisationen vor Ort weiter. Darüber hinaus haben wir zusammen mit der britischen Seelsorge-Organisation zur Suizidprävention, Samaritans, Branchenrichtlinien erarbeitet, die Plattformen wie Instagram dabei helfen sollen, den Spagat zwischen dem Vorgehen gegen schädliche Inhalte und dem Unterbreiten von Hilfsangeboten für betroffene oder gefährdete Nutzer zu schaffen.


Mithilfe unserer Technologie suchen und entfernen wir proaktiv weitere Inhalte mit Suizidbezug oder über selbstverletzendes Verhalten. Unsere Technologie spürt Beiträge auf, die von Suizid oder Selbstverletzung handeln, und leitet sie an einen Mitarbeiter weiter, der die Beiträge überprüft und anschließend über das beste Vorgehen entscheidet. Das könnte zum Beispiel das Löschen des Inhalts sein oder dass dem Verfasser lokale Hilfsorganisationen empfohlen werden. In sehr ernsten Fällen ruft der Mitarbeiter direkt die Notfalldienste an. Zwischen April und Juni 2020 wurden über 90 % der Inhalte zum Thema Suizid und Selbstverletzung von unserer eigenen Technologie aufgespürt, noch bevor sie von anderen Nutzern gemeldet wurden. Hierbei 100 % zu erreichen ist natürlich unser oberstes Ziel.


Bisher konnten wir diese Technologie zum Aufspüren von Inhalten, die sich um Selbsttötung oder Selbstverletzung drehen, nur außerhalb der Europäischen Union einsetzen. Deshalb war es für uns schwieriger, in Europa proaktiv solchen Content zu finden und betroffenen oder gefährdeten Nutzern zu helfen. Deshalb freue ich mich umso mehr, dass wir ab heute einen Teil dieser Technologie für Facebook und Instagram in der EU einsetzen dürfen. Nun können wir auch dort nach Beiträgen suchen, die gegen unsere Richtlinien bezüglich Suizid und Selbstverletzung verstoßen. Nur so lässt sich die Sichtbarkeit solcher Posts einschränken, indem wir sie automatisch aus Orten wie dem Explore-Tab entfernen. Und wenn unsere Technologie ermittelt, dass ein Beitrag mit sehr hoher Wahrscheinlichkeit nicht unseren Richtlinien entspricht, können wir diesen nun automatisch entfernen.


Dieser wichtige Schritt führt dazu, dass mehr Menschen in der EU geschützt werden. Aber wir möchten noch viel mehr unternehmen. Der nächste Schritt für uns wäre, mit unserer Technologie nicht nur solchen schädlichen Content aufzuspüren und weniger sichtbar zu machen, sondern unsere Mitarbeiter zu involvieren, die die Beiträge prüfen und gegebenenfalls Hilfsmaßnahmen einleiten – so wie wir das überall sonst auf der Welt schon tun. Dass dieser Aspekt in der EU nicht verfügbar ist, erschwert es uns, noch mehr schädliche Inhalte zu entfernen und Betroffene an Seelsorge- und Notfalldienste zu verweisen. Derzeit beraten wir mit verschiedenen Behörden und Regierungen darüber, wie wir diese Technologie unter Einhaltung der Datenschutzauflagen auch innerhalb der EU einsetzen könnten. Wir hoffen sehr, das richtige Gleichgewicht zu finden, damit wir unseren Nutzern noch besser helfen können. Das Thema ist einfach zu wichtig, um sich mit weniger abzufinden.


Chronik unserer Maßnahmen gegen Inhalte mit Suizid-/Selbstverletzungsbezug auf Instagram

  • Dezember 2016: Es werden neue Tools eingeführt, mit denen man Posts über Selbstverletzung anonym melden kann. Schon zu diesem Zeitpunkt werden betroffene Nutzer an Seelsorge-Organisationen verwiesen.
  • März 2017: Es werden Suizidpräventions-Tools in Facebook Live integriert, die es Freunden und Familienmitgliedern erleichtern, gefährdete Personen zu melden und in Echtzeit zu kontaktieren.
  • November 2017: Es wird eine Technologie außerhalb der USA (außer in Europa) eingeführt, die bei der Suche nach Nutzern mit suizidalen Gedanken hilft. Diese ist unter anderem auf Facebook Live verfügbar. Nun wird auch KI dazu verwendet, gemeldete Posts zu priorisieren. Das hilft uns dabei, Nutzern so schnell wie möglich Hilfe zu senden oder die Notfalldienste zu verständigen.
  • September 2018: Wir präsentieren einen Leitfaden für Eltern von Jugendlichen, die Instagram nutzen.
  • Februar 2019: Wir besprechen uns regelmäßig mit Experten aus aller Welt zum Thema Suizid und Selbstverletzung. Bei diesen Gesprächen geht es um die komplexen Probleme, die Inhalte mit Bezug zu Selbsttötung oder Selbstverletzung mit sich bringen. Durch das Feedback der Experten zu unseren Maßnahmen stellen wir sicher, dass sie vor dem Hintergrund neuer Erkenntnisse weiterhin richtig sind.
  • Februar 2019: Wir verschärfen unsere Richtlinien dahingehend, dass sämtlicher grafischer Content zum Thema Suizid und Selbstverletzung gesperrt wird, auch wenn der Nutzer damit auf persönliche Probleme aufmerksam machen möchte. Wir erschweren zusätzlich die Suche nach solchen Inhalten, blockieren zugehörige Hashtags, lassen Content, in dem Nutzer ihren Kampf gegen Suizidgedanken und Selbstverletzung thematisieren, auf sensible Inhalte überprüfen und verweisen noch mehr Menschen, die diese Inhalte posten oder danach suchen, an verfügbare Hilfsangebote.
  • Oktober 2019: Wir erweitern unsere Richtlinien und sperren auch fiktive Inhalte zu Selbstverletzung oder Suizid, wie Memes und Illustrationen, sowie Inhalte zu Methoden oder Hilfsmitteln.
  • September 2020: Wir arbeiten mit den Samaritans zusammen und unterstützen sie bei ihren neuen Richtlinien zum verantwortungsvollen Umgang mit Online-Content über Selbstverletzung und Selbsttötung.
  • Oktober 2020: Wenn ein Nutzer nach Begriffen zum Thema Suizid oder Selbstverletzung sucht, zeigen wir ganz oben in den Suchergebnissen einen Hinweis an. In diesem Hinweis bieten wir dem Nutzer Hilfe an und machen auf lokale Hilfsorganisationen aufmerksam.
  • November 2020: Auch in der EU können wir nun Technologie nutzen, um proaktiv mehr schädliche Inhalte mit Suizidbezug oder zum Thema Selbstverletzung aufzuspüren und weniger sichtbar zu machen.

Unser Fortschritt in Zahlen


Unsere Community darf uns gerne daran messen, wie gut wir unsere Richtlinien und Maßnahmen bezüglich schädlichen Inhalten umsetzen. Darum veröffentlichen wir regelmäßig Berichte zur Durchsetzung der Gemeinschaftsstandards und teilen der Öffentlichkeit mit, gegen wie viele schädliche Inhalte wir weltweit Maßnahmen ergriffen haben und wie viele solcher Inhalte wir entfernen konnten, bevor sie gemeldet wurden. Folgende Übersicht zeigt, welche Fortschritte wir bisher gemacht haben bei unserem Vorgehen gegen Inhalte zum Thema Suizid und Selbstverletzung.

MEHR ZUM THEMA

Weitere Ankündigungen aus dem Bereich Instagram