2022年4月14日更新: 自殺や自傷行為は複雑な問題であり、深刻な結果を招く可能性があります。弊社は、コミュニティをサポートするために全力を尽くしたいと考えています。その一環として、弊社アプリの利用者の安全確保に向けた重要な一歩となる対策についてお伝えします。英国保健省と英国のデータ保護規制当局との継続的な協議の成果として、弊社の事前検知技術は、英国で自殺や自傷に関連する可能性のあるコンテンツを検知した場合、EU以外の地域と同じように、弊社の審査チームにそのコンテンツを送信するようになりました。モデレーターは送信されたコンテンツを審査し、そのコンテンツを削除したり、投稿者を地元の支援組織に誘導したり、必要であれば緊急通報サービスに連絡したりといった適切な措置を講じることができます。
弊社はこれまで、このテクノロジーを英国とEUで利用することで、自殺や自傷行為に関連する可能性のあるコンテンツを特定し、おすすめしないようにするなどして利用者の目に触れる機会を自動的に減らすことに成功してきました。そして、コンテンツが弊社のルールに違反していると確信した場合には、そのコンテンツを自動的に完全に削除することができていました。しかし、このテクノロジーのしくみや、コンテンツが自殺や自傷行為に関連しているかが必ずしも自明ではない点について英国およびEUの政府や規制当局との議論が長期化した結果、こうしたコンテンツを審査チームに送信して対策を講じることはまだできていませんでした。
これからは、このテクノロジーと弊社の審査チームを組み合わせることで、英国で有意義な影響を与えられるようになります。FacebookやInstagramから有害な可能性のあるコンテンツをより多く削除できるだけでなく、最も支援を必要としている人とつながって、サマリア人協会や緊急通報サービスなどの組織とコンテンツを共有できるようになります。
弊社は、今後もEUの主要な規制当局との協議を継続し、近い将来、EUのコミュニティのために同様の措置を講じることができるよう取り組んでいきます。
2021年9月30日更新: この記事の情報は最新でない可能性があります。自殺と自傷行為に関するコンテンツを検出するテクノロジーの最新情報については、セーフティセンターをご覧ください。セーフティセンターに記載されているとおり、弊社のアルゴリズムは自殺と自傷行為に関連する可能性があるコンテンツを特定することを目的としており、メンタルヘルスなどの症状を診断または治療することは目的としていません。
2021年9月2日更新: 弊社では、コミュニティへのサポートを強化する方法を常に模索しており、社内組織である「自殺および自傷行為に関する諮問グループ」のメンバーと定期的にミーティングを行っています。このところしばらく、ある種のコンテンツへの正しい対処方法に関して、こうした専門家の助言を求めています。それは、Instagramのルールには違反していなくても、自殺、死、うつ病などのテーマを扱ったり、矮小化していたりする可能性があるコンテンツです。専門家は、利用者が自分の気持ちを明かすことができたり、友達や家族が連絡するきっかけになったりするという点で、このような投稿を許容することの重要性を認めています。しかし同時に、気分を害しかねないコンテンツが他の利用者の目に触れないようにしてバランスを取る必要性も認めています。そのため、このようなコンテンツを完全に削除するのではなく、発見タブなどの場所でおすすめしないようにして、発見されにくくなるようにしようと考えています。弊社では、このような措置が微妙なバランスを保つための一助になればと考えています。また、この分野の研究の進展に合わせて引き続き専門家の助言を求めていくつもりです。
弊社はInstagramの利用者の皆さまの安全を守るため、全力を尽くしたいと考えています。そのために、専門家と協力して、メンタルヘルス、自殺、自傷行為をめぐる非常に複雑な問題について理解を深め、危険な状態にある人をサポートするベストな方法を探し続けています。こうした問題には、私を含むInstagramの全スタッフが真剣に向き合っています。この数年、さまざまな取り組みを進めてきましたが、このたび、欧州を対象に新たなテクノロジーを導入することになりました。この取り組みに終わりはなく、常にさらなる措置を模索していく必要があります。
これは、当事者の方にとっては非常に個人的な問題です。また、絶えず変化する複雑な問題でもあります。そのためInstagramでは、コミュニティを適切にサポートできるよう、ポリシーや製品を適宜アップデートしています。弊社が自殺や自傷行為を助長または奨励する行為を認めたことは一度もありません。昨年は、自殺や自傷行為をあからさまに扱ったコンテンツをすべて削除するためにポリシーを改定しました。また、イラストやミームなどの画像を使って自殺や自傷行為に関連する情報や方法をフィクションとして描くことを禁止するために、ポリシーの適用範囲を広げました。
しかし、ポリシーと製品だけでは、このような難しい問題に十分に対処することはできません。これに加えて、苦しんでいる人びとに手を差し伸べ、サポートを提供することが重要だと考えます。Instagramでは、自殺や自傷行為に関連するアカウントやハッシュタグを検索した人にサポートを提供するとともに、近隣の支援団体を紹介しています。また、自殺防止に取り組む慈善団体「サマリア人協会」による業界ガイドラインの策定にも協力しています。このガイドラインは、Instagramのようなプラットフォームが、有害コンテンツへの対策と、サポートを必要とする人への情報提供を両立できるように支援するためのものです。
Instagramでは、テクノロジーを活用して自殺や自傷行為に関する有害性の高いコンテンツを先回りして検出し、削除しています。自殺や自傷行為を扱っている可能性がある投稿が検出されると、人間による審査にかけられ、適切に対処されます。コンテンツの削除や、投稿者を近隣の支援団体につなげるといった対応のほか、深刻で急を要する場合には緊急通報サービスに連絡します。今年の4月から6月の間に弊社が対応した自殺や自傷行為に関するコンテンツのうち、利用者から報告を受ける前に弊社独自のテクノロジーで検出したものは90%以上にのぼります。この数値をできる限り伸ばして100%に近づけることが弊社の目標です。
これまでは、欧州連合(EU)域外でしか、このテクノロジーを使って自殺や自傷行為に関するコンテンツを検出することができなかったため、このようなコンテンツを先回りして検出してサポートを提供することは困難でした。本日より、EUにおいてもこのテクノロジーの一部をFacebookとInstagramの両方で導入いたします。今後は、自殺や自傷行為に関する弊社のルールに違反しているおそれのある投稿を検出し、発見タブなどの場所から自動的に取り除くことで目に触れにくくすることが可能になります。また、ある投稿が弊社のルールに違反している可能性が非常に高いとテクノロジーが判断した場合には、自動的に削除できます。
これはEUの利用者を守るための重要なステップですが、ここからさらに対策を強化したいと考えています。次のステップでは、テクノロジーの活用をさらに広げていきます。ルールに違反するコンテンツを検出して表示される機会を減らすだけでなく、人間による審査にかけるようにします。これは世界の他の地域ではすでに行われていますが、EUではまだ導入されていません。そのため、支援が必要な人を近隣の支援団体や緊急通報サービスとつなげることが難しくなっています。例えば、今年の8月から10月にかけて、弊社が近隣の支援団体や緊急通報サービスにエスカレーションした米国のアカウントの80%以上は、問題を早期発見する弊社のテクノロジーによって検出されたものです。現在、プライバシー保護に配慮しながらEUにこのテクノロジーを導入する最適な方法について、規制当局や政府と話し合いを進めています。適切なバランスを見極め、取り組みを強化していければと考えています。この問題は重要なので、強化の手を緩めることはできません。
タイムライン: 自傷行為や自殺に関するコンテンツに対してInstagramが実施してきた対策
- 2016年12月: 自傷行為に関する投稿の匿名報告機能をリリース。助けを求めている人を支援団体とつなげる取り組みを開始。
- 2017年3月: Facebook Liveに自殺防止ツールを統合。友達や家族がリアルタイムで簡単に報告したり本人に連絡をとったりすることが可能に。
- 2017年11月: 米国以外の地域(欧州を除く)を対象に、Facebook Liveを含む弊社プラットフォーム上で自殺をほのめかしている人を特定するテクノロジーを導入。助けを必要としている人にできるだけ早く手を差し伸べ、緊急通報サービスに連絡できるよう、報告の優先順位付けにAIの利用を開始。
- 2018年9月: Instagramを利用するティーンの保護者のためのガイドを作成。
- 2019年2月: 複雑化する自殺と自傷行為の問題について話し合い、弊社のアプローチについて定期的に意見を聞くために、安全と自殺防止に関する世界中の専門家との定期的な会合を開始。
- 2019年2月: すでに提出して承認されたコンテンツを含め、自殺や自傷行為をあからさまに扱ったコンテンツをすべて禁止するようにポリシーの適用範囲を拡大。さらに、このようなコンテンツを検索で見つけにくくし、関連するハッシュタグをブロックするとともに、容認されたすべてのコンテンツに「不適切なコンテンツ」画面を表示し、このようなコンテンツを投稿したり検索したりしている人に支援情報を案内することを開始。
- 2019年10月: ミームやイラストを含め自傷行為や自殺をフィクションとして描くコンテンツや、自傷行為や自殺の方法や道具を扱ったコンテンツを禁止するために、ポリシーの適用範囲を拡大。
- 2020年9月: サマリア人協会による、自傷行為や自殺に関するオンラインコンテンツの安全な管理方法に関する新たなガイドラインづくりに協力。
- 2020年10月: 自殺や自傷行為に関連するキーワードを利用者が検索した場合に、検索結果の上部に新たにメッセージを表示。これにより、支援を提供するとともに、近隣の支援団体を案内。
- 2020年11月: 自殺や自傷行為に関する有害性の高いコンテンツを先回りして検出し、目に触れにくくするテクノロジーをEUでも導入。
- 2021年8月: 専門家との協議の結果、自殺、死、うつ病などのテーマを扱っている、または矮小化しているコンテンツを特定し、発見されにくくするテクノロジーを導入。こうしたコンテンツは削除はしないものの、以降は発見タブなどの場所でおすすめの対象から除外。
実績
Instagramのコミュニティには、有害なコンテンツに関する弊社のポリシーと対策の実施状況について弊社に説明を求める権利があります。そのため弊社では、定期的にコミュニティ規定の施行レポートを公開し、弊社が対処した全世界の違反コンテンツの件数と、その中で報告を受ける前に自主的に検出できたものの割合についてデータを共有しています。以下のタイムラインは、Instagram上の自傷行為や自殺に関するコンテンツに対して講じてきた措置をまとめたものです。
- 2019年第2四半期コミュニティ規定の施行レポート: 83万5,000件のコンテンツに対処。報告前の検出率は78%近く。
- 2019年第3四半期コミュニティ規定の施行レポート: 自殺や自傷行為に関する84万5,000件のコンテンツに対処。報告前の検出率は79%超。
- 2019年第4四半期コミュニティ規定の施行レポート: 89万7,000件のコンテンツに対処。報告前の検出率は83%超。
- 2020年第1四半期コミュニティ規定の施行レポート: 130万件のコンテンツに対処。報告前の検出率は90%近く。
- 2020年第2四半期コミュニティ規定の施行レポート: 27万5,000件のコンテンツに対処。報告前の検出率は94%近く。この期間は、新型コロナウイルス感染症の流行によりコンテンツ審査業務が影響を受けた結果、施行実績が低下しています。
- 2020年第3四半期コミュニティ規定の施行レポート: 130万件のコンテンツに対処。報告前の検出率は95%超。弊社によるコンテンツの審査は、現在も新型コロナウイルス感染症の影響を受けていますが、施行実績はAIの強化により、感染症流行前のレベルに回復しています。
- 2020年第4四半期コミュニティ規定の施行レポート: 340万件のコンテンツに対処。報告前の検出率は94%超。
- 2021年第1四半期コミュニティ規定の施行レポート: 270万件のコンテンツに対処。報告前の検出率は94%超。
- 2021年第2四半期コミュニティ規定の施行レポート: 300万件のコンテンツに対処。報告前の検出率は96%超。
関連記事