Weitere Schritte zum Schutz unserer Nutzer*innen

Aktualisiert am 30. September 2021: Die Informationen in diesem Artikel sind möglicherweise veraltet. Aktuelle Informationen zu unseren Detektionstechnologien für Inhalte mit Suizid- und Selbstverletzungsbezug findest du im Safety Center. Wie im Safety Center beschrieben, dienen unsere Algorithmen dazu, Inhalte mit potenziellem Suizid- oder Selbstverletzungsbezug zu identifizieren. Sie können keine psychologischen oder anderen Probleme diagnostizieren oder behandeln.

Nichts liegt mir mehr am Herzen als der Schutz der Menschen auf Instagram – und besonders der am stärksten gefährdeten. Suizid und selbstverletzendes Verhalten sind schwierige und komplexe Themen, die natürlich viele Menschen besonders berühren. Die damit verbundenen Fragestellungen sind vielschichtig und es gibt ganz verschiedene Meinungen dazu, wie sie am besten zu lösen sind. Als Vater gehen mir diese Probleme besonders nah und ich weiß, wie wichtig dieses Thema ist.

Zunächst möchte ich allen mein Mitgefühl aussprechen, die sich in einer so schwierigen Lage befinden, sowie ihren Angehörigen und Freund*innen. Es ist kaum vorstellbar, was diese Menschen durchmachen. Aber mir ist natürlich bewusst, dass mein Mitgefühl alleine nicht ausreicht. Die Nutzer*innen von Instagram erwarten zu Recht von uns, dass wir alles in unserer Macht Stehende tun, um ihren Schutz zu gewährleisten. Das gilt besonders für suizid- und selbstverletzungsgefährdete Menschen.

Online-Communitys können Fluch und Segen zugleich sein. Zum einen ist es eine traurige Realität, dass manche junge Menschen von ihren Eindrücken im Internet negativ beeinflusst werden und sich deswegen unter Umständen selbst verletzen. Dieses Risiko ist sehr real.

Zum anderen finden aber viele junge Menschen genau hier im Internet Unterstützung bei ihren Problemen. Manche teilen etwa Bilder von verheilten Narben, andere tauschen sich darüber aus, wie sie ihre Essstörung überwunden haben. Oftmals sind diese Onlinenetzwerke die einzige Möglichkeit, andere Menschen zu finden, die ähnliche Erfahrungen gemacht haben.

Wir orientieren uns an der Expertise von Wissenschaftler*innen und Organisationen für psychische Gesundheit, wie den Samaritans im Vereinigten Königreich oder der National Suicide Prevention Line in den USA. Mit ihrer Hilfe versuchen wir, diesen Balanceakt zu meistern. So sollen Menschen einerseits über ihre Erlebnisse und psychische Gesundheit sprechen können, andererseits möchten wir Nutzer*innen aber vor potenziell gefährlichen Inhalten schützen.

Dabei können dieselben Inhalte für manche Personen hilfreich sein, für andere hingegen gefährlich. Im Gespräch mit betroffenen jungen Menschen habe ich erfahren, dass unter Umständen dasselbe Bild an einem Tag als hilfreich wahrgenommen wird, am nächsten Tag hingegen eine negative Reaktion hervorrufen kann. Deshalb dürfen auf Instagram keine Inhalte geteilt werden, die Suizid oder selbstverletzendes Verhalten hervorheben oder dazu anregen. Solche Inhalte waren auf unserer Plattform zu keinem Zeitpunkt gestattet.

Anfang dieses Jahres haben wir unsere Maßnahmen im Umgang mit Inhalten mit Suizid- und Selbstverletzungsbezug weiter verschärft. Im Februar haben wir explizite Bilder von Selbstverletzungen verboten und eine neue Technologie entwickelt, um solche Inhalte zu finden und entsprechend einzugreifen. Außerdem stellen wir sicher, dass solche Inhalte und die damit verbundenen Konten nicht empfohlen werden.

Im Rahmen dieser Bemühungen konnten wir die Zahl der Inhalte verdoppeln, bei denen wir einschreiten. Innerhalb von drei Monaten nach Inkrafttreten dieser Änderung haben wir mehr als 834.000 Inhalte entweder entfernt, ihre Sichtbarkeit eingeschränkt oder sie mit Hinweisen zu sensiblen Inhalten versehen. 77 % dieser Inhalte konnten wir zudem schon ermitteln, bevor sie uns gemeldet wurden. Trotz dieser Fortschritte ist unsere Arbeit hier keinesfalls getan.

Letzten Monat haben wir unsere Richtlinien erneut angepasst, sodass nun auch weitere Inhalte mit Suizid- und Selbstverletzungsbezug verboten sind. Auf Instagram sind seither auch keine fiktiven Darstellungen von Suizid oder Selbstverletzung mehr gestattet, darunter Zeichnungen bzw. Memes oder Inhalte aus Filmen bzw. Comics mit expliziten Bildern. Auch Bilder, die kein explizit suizidales oder selbstverletzendes Verhalten zeigen, werden nun entfernt, wenn sie zugehörige Utensilien oder Methoden abbilden.

Konten, die solche Inhalte teilen, werden zudem nicht mehr in der Suche oder in Oberflächen wie Explore empfohlen. Außerdem zeigen wir zukünftig mehr Menschen vermehrt lokale Hilfsangebote auf, etwa die Samaritans oder PAPYRUS im Vereinigten Königreich bzw. die National Suicide Prevention Lifeline oder The Trevor Project in den USA.

Diese komplexen Herausforderungen kann kein Unternehmen alleine lösen, weder durch neue Richtlinien noch durch neue Verfahren. Ich werde oft gefragt, warum wir überhaupt bestimmte Inhalte mit Suizid- oder Selbstverletzungsbezug auf Instagram zulassen. Wir wissen von Expert*innen, dass es für manche Menschen extrem wichtig und förderlich sein kann, über ihre schwierigsten Momente zu sprechen und ihren Heilungsprozess mit anderen zu teilen. Diese Inhalte vollständig einzuschränken, könnte also nicht nur psychische Probleme stigmatisieren, sondern es auch Angehörigen erschweren, einen Hilferuf zu erkennen und darauf zu reagieren.

Eine einzige Anpassung unserer Richtlinien oder eine einmalige technologische Verbesserung reichen nicht aus, um genau den richtigen Ansatz zu entwickeln. Unsere Arbeit auf diesem Gebiet geht also immer weiter. Wir müssen unsere Richtlinien und Technologien immer weiter anpassen, um auf neue Trends und geänderte Verhaltensweisen zu reagieren.

Wir treffen uns jeden Monat mit Wissenschaftler*innen und Expert*innen auf dem Gebiet, um stets über neue Entwicklungen und kulturelle Unterschiede bei suizidalem und selbstverletzendem Verhalten informiert zu sein. Außerdem arbeiten wir mit MIND zusammen. Gemeinsam mit dieser schwedischen Organisation für psychische Gesundheit wollen wir herausfinden, welche Rolle Technologie und soziale Medien im Leben junger Menschen spielen. Im Vereinigten Königreich kooperieren wir mit den Samaritans, um neue branchenweite Richtlinien zu erarbeiten, mit denen wir Menschen in Not schützen können.

Außerhalb von Europa nutzen wir bereits zusätzliche technologische Lösungen, um proaktiv Menschen zu identifizieren, die möglicherweise Hilfe benötigen. Wir möchten diese Technologie auch in Europa einführen und arbeiten mit der zuständigen europäischen Aufsichtsbehörde zusammen, um dabei den besonderen rechtlichen Herausforderungen in der EU gerecht zu werden.

Wenn wir hören, dass sich eine Person möglicherweise im Zusammenhang mit Inhalten auf unseren Plattformen selbst verletzt hat, führt uns das immer wieder aufs Neue vor Augen, mit welchen Problemen viele junge Menschen online und offline konfrontiert sind. Wir arbeiten auch in Zukunft daran, den Schutz aller Nutzer*innen auf Instagram zu gewährleisten und ihnen gleichzeitig Hilfestellungen zu vermitteln, die in Notsituationen eine entscheidende Rolle spielen können.

Adam Mosseri, Head of Instagram