Neue Tools für den Schutz vor sexueller Erpressung und dem Missbrauch intimer Bilder

Das Wichtigste zusammengefasst:

• Wir testen gerade neue Features, die dem Schutz von Jugendlichen vor sexueller Erpressung und dem Missbrauch intimer Bilder dienen. Die Features erschweren es außerdem potenziellen Betrüger*innen und Kriminellen, nach Teens zu suchen und mit ihnen zu interagieren.
• Zusätzlich testen wir neue Methoden, wie unsere Nutzer*innen mögliche Fälle sexueller Erpressung leichter erkennen und melden können. Wir bestärken unsere Nutzer*innen auch darin, sich auf nichts einzulassen, bei dem sie sich nicht wohl fühlen.
• Über Lantern teilen wir jetzt mit anderen Technologieunternehmen mehr Hinweise darauf, dass ein Konto in Verbindung mit Fällen sexueller Erpressung steht, um so diesen Straftaten im Internet ein Ende zu setzen.

Sexuelle Erpressung ist ein abscheuliches Verbrechen. Wir arbeiten seit Jahren eng mit Expert*innen zusammen, von denen viele Erfahrung im Kampf gegen diese Straftaten haben. Unser Ziel ist es dabei, herauszufinden, welche Taktiken Betrüger*innen anwenden, um im Internet nach Opfern zu suchen und sie zu erpressen. Mit diesem Wissen können wir dann effektive Methoden entwickeln, um dies zu unterbinden.

Heute möchten wir einen Überblick über unsere aktuellen Bemühungen im Kampf gegen diese Vergehen geben. Unter anderem testen wir neue Tools zum Schutz vor sexueller Erpressung und dem Missbrauch intimer Bilder, sowie weitere Tools, die es Betrüger*innen so weit wie möglich erschweren, potenzielle Opfer zu finden – nicht nur in den Meta-Apps, sondern im gesamten Internet. Außerdem testen wir neue Methoden, die Jugendlichen dabei helfen können, Fälle sexueller Erpressung selbst zu erkennen und sich entsprechend zu schützen.

Diese Updates bauen auf unserer langjährigen Arbeit zum Schutz von jungen Menschen vor unerwünschter oder potenziell gefährlicher Kontaktaufnahme auf. Standardmäßig gelten für Teenager*innen strengere Messaging-Einstellungen, damit sie nicht von Personen kontaktiert werden können, mit denen sie nicht vernetzt sind. Teens, die bereits Kontakt zu einem möglicherweise betrügerischen Konto haben, werden Sicherheitshinweise angezeigt. Außerdem gibt es eine spezielle Option, um Direktnachrichten zu melden, in denen mit dem Teilen privater Bilder gedroht wird. Wir haben auch die US-amerikanische Kinderschutzorganisation National Center for Missing and Exploited Children (NCMEC) dabei unterstützt, den Dienst Take It Down zu entwickeln. Diese Plattform gibt Jugendlichen die Kontrolle über ihre intimen Bilder zurück, damit sie nicht mehr im Internet geteilt werden können. So haben die Betrüger*innen keine Macht mehr über sie.

Neu: Nacktfotoerkennung in Direktnachrichten

Die allermeisten Menschen nutzen Direktnachrichten, um ihren Freund*innen, Familienmitgliedern oder Lieblings-Creator*innen Dinge mitzuteilen, die ihnen wichtig sind. Im Fall von sexueller Erpressung senden Betrüger*innen aber manchmal private Nachrichten, um einer Person intime Bilder zu senden oder sie dazu aufzufordern, selbst solche Bilder zu senden. Um dieses Problem anzugehen, beginnen wir demnächst damit, in Direktnachrichten auf Instagram die Nacktfotoerkennung zu testen. Mit diesem neuen Feature werden Bilder, die als Nacktdarstellung erkannt werden, unscharf dargestellt. Außerdem werden Nutzer*innen aufgefordert, es sich noch einmal zu überlegen, bevor sie Nacktfotos versenden. Diese Funktion soll einerseits Nutzer*innen davor bewahren, unerwünschte Nacktdarstellungen in ihren Direktnachrichten zu sehen. Andererseits dient sie dem Schutz vor Betrüger*innen, die Nacktfotos versenden, um andere dazu zu bewegen, eigene Bilder zurückzusenden.

Für Personen unter 18 Jahren ist die Nacktfotoerkennung weltweit standardmäßig aktiviert. Erwachsene werden mit einem Hinweis dazu aufgefordert, sie zu aktivieren.

Bei aktivierter Nacktfotoerkennung wird Nutzer*innen, die Bilder mit Nacktdarstellungen versenden, ein Hinweis angezeigt, der an sie appelliert, beim Versenden von vertraulichen Fotos Vorsicht walten zu lassen. Sie werden auch darauf hingewiesen, dass sie ein Foto zurückrufen können, wenn sie ihre Meinung ändern.

Nutzer*innen, die versuchen, ein Nacktfoto weiterzuleiten, werden aufgefordert, dies zu überdenken.

Erhält ein*e Nutzer*in ein Bild mit einer Nacktdarstellung, dann ist es automatisch unscharf und wird von einer Warnung verdeckt. Die Person wird also nicht direkt mit einer Nacktdarstellung konfrontiert und kann selbst entscheiden, ob sie das Bild ansehen möchte oder nicht. Wir weisen außerdem darauf hin, dass der*die Nutzer*in sich nicht unter Druck gesetzt fühlen muss, zu antworten. Zusätzlich hat er*sie direkt die Möglichkeit, den*die Absender*in zu blockieren und den Chat zu melden.

Beim Versand oder Empfang solcher Bilder werden Nutzer*innen zu Sicherheitshinweisen über die möglichen Risiken weitergeleitet, die wir mit Unterstützung durch Expert*innen erstellt haben. Unter anderem sind dies folgende Informationen: Der*Die Empfänger*in kann einen Screenshot von dem Bild machen oder es ohne dein Wissen weiterleiten. Deine Beziehung zu der anderen Person kann sich später verändern. Du solltest Profile genau überprüfen, falls sie sich für jemand anderen ausgeben. In den Sicherheitsweisen sind auch eine Reihe von Ressourcen verlinkt, z. B. das Safety Center von Meta, Helplines, StopNCII.org (für Nutzer*innen ab 18 Jahren) und Take It Down (Nutzer*innen bis 18 Jahre).

Die Nacktfotoerkennung nutzt maschinelles Lernen auf dem Gerät, um zu ermitteln, ob ein Bild, das per Direktnachricht auf Instagram gesendet wurde, Nacktdarstellungen enthält. Da die Bilder auf dem Gerät selbst analysiert werden, funktioniert die Nacktfotoerkennung in Ende-zu-Ende-verschlüsselten Chats. Darin kann Meta nicht auf die Bilder zugreifen – es sei denn, ein*e Nutzer*in meldet sie uns.

Verhindern, dass mögliche Betrüger*innen Kontakt mit Teens aufnehmen können

Wenn wir von Fällen sexueller Erpressung erfahren, greifen wir hart durch: Wir entfernen das Konto des*der Täterin, ergreifen Maßnahmen, damit er*sie keine neuen Konten erstellen kann, und melden ihn*sie gegebenenfalls dem NCMEC sowie den Strafverfolgungsbehörden. Unsere Expert*innen arbeiten außerdem daran, solche kriminellen Netzwerke zu untersuchen und zu zerschlagen, ihre Konten zu deaktivieren und sie dem NCMEC sowie den Strafverfolgungsbehörden zu melden. Allein im letzten Jahr ist uns dies bei mehreren Netzwerken gelungen.

Derzeit entwickeln wir zusätzlich eine Technologie, mit der wir ermitteln können, ob bei einem Konto der Verdacht auf sexuelle Erpressung vorliegt. Hierfür wird eine Reihe von Signalen herangezogen, die auf eine solche Betrugsmasche hindeuten. Zwar sind diese Signale nicht unbedingt als Nachweis zu werten, dass das betreffende Konto gegen unsere Regeln verstoßen hat. Jedoch ergreifen wir nichtsdestotrotz Vorsichtsmaßnahmen, um zu verhindern, dass das Konto nach Teenager*innen suchen und mit ihnen interagieren kann. Diese Arbeit baut auf unseren bestehenden Bemühungen auf, durch die wir verhindern, dass potenziell verdächtige Konten nach Teenager*innen suchen und mit ihnen interagieren können.

Eine unserer Methoden besteht darin, es der sexuellen Erpressung verdächtigen Konten weiter zu erschweren, mit anderen Kontakt aufzunehmen oder zu interagieren. Jede Nachrichtenanfrage, die ein Konto zu senden versucht, bei dem der Verdacht der sexuellen Erpressung besteht, leiten wir direkt in den Ordner für verborgene Nachrichtenanfragen des*der Empfänger*in weiter. Diese*r erhält keine Benachrichtigung über den Eingang der Nachricht und muss sie gar nicht sehen. Nutzer*innen, die bereits mit einem Konto chatten, das des Betrugs oder der sexuellen Erpressung verdächtigt wird, zeigen wir Sicherheitshinweise an. Darin fordern wir sie auf, es zu melden, wenn ihnen mit dem Teilen privater Bilder gedroht wird. Wir bestärken sie auch darin, sich auf nichts einzulassen, bei dem sie sich nicht wohl fühlen.

Wenn es sich um Teens handelt, gehen wir einen Schritt weiter. Wir haben bereits dafür gesorgt, dass Erwachsene keine Direktnachrichten an Teenager*innen senden können, mit denen sie nicht vernetzt sind. Seit Januar gelten für Teens unter 16 Jahren noch strengere Standardeinstellungen beim Messaging (in einigen Ländern unter 18 Jahren): Nur Personen, mit denen sie bereits vernetzt sind, können ihnen Nachrichten senden, egal wie alt sie sind. Der Button „Nachricht senden“ im Profil von Teenager*innen ist für Konten nicht mehr sichtbar, bei denen der Verdacht der sexuellen Erpressung besteht, selbst wenn sie bereits in Kontakt stehen. Wir testen außerdem die Möglichkeit, Teens in den Follower*innen-, Gefolgt- und „Gefällt mir“-Listen dieser Konten zu verbergen und es diesen Konten zu erschweren, die Konten von Teenager*innen in den Suchergebnissen zu finden.

Neue Ressourcen für Nutzer*innen, die möglicherweise von Betrüger*innen kontaktiert wurden

Wir testen unsere neuen Pop-up-Nachrichten für Nutzer*innen, die möglicherweise mit einem Konto interagiert haben, das wir wegen sexueller Erpressung entfernt haben. Über eine solche Nachricht können betroffene Nutzer*innen auf unsere, von Expert*innen geprüften Ressourcen zugreifen, z. B. unser Hub „Stark gegen sexuelle Erpressung“, verschiedene Helplines, StopNCII.org (ab 18) und Take It Down (bis 18) oder sich an Freund*innen wenden.

Außerdem fügen wir jetzt neue Kinderschutz-Helplines aus aller Welt zu unserem Meldeflow in der App hinzu. Wenn Teens relevante Probleme melden – z. B. Nacktdarstellungen, Drohungen, private Bilder zu teilen, sexuellen Missbrauch oder sexuell motivierte Kontaktaufnahme – leiten wir sie direkt zu einer Kinderschutz-Helpline in ihrer Region weiter, wenn es dort eine gibt.

Der Kampf gegen sexuelle Erpressung im Internet

Im November haben wir bekanntgegeben, dass wir ein Gründungsmitglied von Lantern sind. Dieses Programm wird von der Tech Coalition organisiert und ermöglicht es Technologieunternehmen, Hinweise zu teilen, dass Konten und Verhaltensweisen gegen die Kinderschutzrichtlinien dieser Unternehmen verstoßen.

Diese Zusammenarbeit innerhalb der Branche ist entscheidend, denn Sexualstraftäter*innen beschränken sich nicht auf eine Plattform – und Gleiches gilt für Erpressungen mit sexuellem Hintergrund. Diese Kriminellen suchen sich ihre Opfer in den verschiedenen Apps, die sie nutzen, und wechseln dabei oft während einer Unterhaltung zwischen den Apps. Aus diesem Grund teilen wir jetzt in Lantern mehr Signale und Hinweise, die sich speziell auf sexuelle Erpressung beziehen, denn es ist unser Ziel, aufbauend auf dieser wichtigen Kooperation, sexuelle Erpressung nicht nur auf einzelnen Plattformen, sondern im gesamten Internet zu stoppen.