유럽 커뮤니티의 안전을 지키기 위한 중요한 단계

2022년 4월 14일 업데이트: 자살과 자해는 까다로운 이슈이며, 치명적인 결과로 이어질 수 있습니다. Instagram은 커뮤니티를 지원하기 위해 할 수 있는 모든 일을 하고자 합니다. 이에 따라 오늘은 Instagram 앱에서 사람들의 안전을 지키기 위해 도입되는 또 하나의 중요한 조치를 안내합니다. Instagram과 영국 보건사회복지부 및 데이터 보호 당국과의 계속된 논의를 바탕으로, 이제 Instagram의 사전 감지 기술을 통해 발견된 영국의 잠재적인 자살 및 자해 관련 콘텐츠는 EU 지역 외 전 세계 모든 국가에서와 마찬가지로 Instagram의 검토팀으로 전송됩니다. 검토자들은 콘텐츠를 검토한 후 콘텐츠 삭제하기, 게시한 사람을 지역의 지원 단체로 안내하기, 필요한 경우 응급 서비스 기관에 연락하기 등의 적절한 조치를 취합니다.

지금까지는 영국과 EU에서 이 기술을 사용하여 잠재적인 자살 및 자해 관련 콘텐츠가 식별된 경우 콘텐츠가 추천되지 않도록 하는 등 자동으로 공개 범위를 줄일 수 있었습니다. 콘텐츠가 규정을 위반한다는 사실이 확실한 경우에는 콘텐츠를 자동으로 삭제할 수 있었습니다. 그러나 이 기술이 작동하는 방식과 자살 및 자해 관련 콘텐츠의 복잡다단한 성격에 관해 영국 정부 및 EU 당국과 오랜 기간 진행해온 논의로 인해 이러한 콘텐츠에 대해 조치가 취해지도록 검토팀으로 전송할 수는 없었습니다.

이제는 영국에서도 이 기술에 검토팀의 검토가 더해져서 의미 있는 조치를 취할 수 있게 되었습니다. 이제 Facebook과 Instagram에서 잠재적으로 유해한 콘텐츠를 삭제할 수 있게 되었을 뿐 아니라 이러한 콘텐츠를 올린 사람들을 Samaritans, 응급 서비스 기관 등으로 안내할 수 있게 되었습니다.

앞으로도 계속해서 EU 당국과 논의를 진행하여 EU에서도 이와 비슷한 진척 상황을 이룰 수 있게 되기를 기대합니다.

2021년 9월 30일 업데이트: 이 아티클의 정보는 최신 정보가 아닐 수 있습니다. Instagram의 자살 및 자해 콘텐츠 감지 기술에 관한 최신 정보를 보려면 안전 센터를 방문하세요. 안전 센터에 설명된 바와 같이, Instagram의 알고리즘은 잠재적인 자살 및 자해 콘텐츠를 식별하는 용도로 설계되었으며 정신 건강 또는 그 밖의 건강 상태를 진단하거나 질병을 치료하는 용도로 설계되지 않았습니다.

2021년 9월 2일 업데이트: Instagram은 커뮤니티를 더 효과적으로 지원하기 위한 방법을 언제나 모색하며, 그 일환으로 사내 자살 및 자해 자문 그룹의 구성원들과 정기적으로 회의를 진행하고 있습니다. Instagram은 그동안 규칙에 위배되지는 않지만 자살, 죽음 또는 우울증과 관련된 주제를 묘사하거나 이를 사소한 문제인 것처럼 다룰 수 있는 특정 유형의 콘텐츠에 접근하는 올바른 방법에 관해 전문가들에게 자문을 구했습니다. 전문가들은 사람들이 자신의 기분을 이야기하고 친구들과 가족이 도움을 줄 기회를 얻을 수 있도록 이러한 주제의 게시물을 허용하는 것이 중요하다는 데 동의합니다. 하지만 이를 허용할 때 불쾌감을 줄 수 있는 콘텐츠를 발견하지 못하도록 다른 사람들을 보호하는 조치와 균형을 맞출 필요성이 있다는 데도 동의합니다. 그렇기 때문에 Instagram은 해당 콘텐츠를 완전히 삭제하는 대신 사람들이 발견하기 더 어렵도록 탐색 탭과 같은 위치에서 콘텐츠를 추천하지 않을 것입니다. 이를 통해 두 조치의 균형을 맞출 수 있기를 바라며, 해당 분야에 대한 연구가 진전됨에 따라 계속해서 전문가들의 자문을 구하겠습니다.

저희는 Instagram 이용자들을 안전하게 지키기 위해 필요한 모든 조치를 취하려고 합니다. 이에 정신 건강, 자살, 자해 등과 같이 심히 복잡한 문제를 이해하고 이러한 문제의 영향을 받기 쉬운 사람들을 최선을 다해 돕는 방법을 알아내기 위해 전문가들과 머리를 맞댔습니다. 저를 포함하여 Instagram에서 일하는 누구도 이 문제를 가볍게 여기지 않습니다. 지난 몇 년 동안 이와 관련하여 진전을 이루었으며, 오늘 우리의 노력을 뒷받침하는 더 많은 기술을 유럽 지역에서 공개합니다. 하지만 이러한 노력은 절대 여기서 끝나지 않으며 더 큰 진전을 이루기 위한 방법을 끊임없이 찾아 나서야 합니다.

영향을 받는 사람들에게는 이것이 굉장히 개인적인 문제임을 잘 알고 있습니다. 복잡한 데다가 끊임없이 변하기까지 합니다. 그렇기 때문에 저희는 계속해서 정책과 제품을 업데이트하고 있습니다. 그래야만 커뮤니티를 최선을 다해 도울 수 있기 때문입니다. 저희는 Instagram에서 그 누구도 자살이나 자해를 조장하거나 부추기는 행위를 하도록 내버려두지 않았습니다. 작년에는 자살과 자해를 자세히 묘사하는 콘텐츠를 모두 삭제하도록 정책을 업데이트했습니다. 또한 그림, 밈, 자살 또는 자해와 관련된 자료나 방법을 보여주는 기타 이미지 등 허구적인 묘사도 허용하지 않도록 정책을 확대했습니다.

정책과 제품만으로는 이렇게 어려운 문제를 다루기에 역부족입니다. 저희는 어려움을 겪고 있는 사람들에게 도움을 주고 지원을 제공하는 것도 중요하다고 생각합니다. 이에 자살 및 자해와 관련된 계정이나 해시태그를 검색하는 사람들에게 지원을 제공하고, 도움을 줄 수 있는 지역 단체로 이들을 안내하고 있습니다. 또한 저희는 자살 예방 자선 단체인 Samaritans와 함께 업계 가이드라인을 편찬했습니다. 이 가이드라인은 Instagram과 같은 플랫폼이 유해한 콘텐츠를 막고 필요한 이들에게 지원을 제공하는 일을 균형 있게 처리하는 데 도움이 되도록 마련되었습니다.

저희는 유해성이 더 높은 자살 및 자해 콘텐츠를 사전에 찾아내어 삭제하는 데 도움이 되는 기술을 이용합니다. 우리 기술은 자살 또는 자해 콘텐츠가 포함되었을 수도 있는 게시물을 찾아 검토 담당자에게 보냅니다. 그러면 검토 담당자가 최종 결정을 내린 후 적절한 조치를 취합니다. 콘텐츠를 삭제하거나, 도움을 줄 수 있는 지역 단체에 게시물을 올린 사람을 연결해주거나, 심각한 경우 응급 서비스에 연락하는 것과 같은 조치를 취할 수 있습니다. 올해 4월부터 6월까지 저희가 조치를 취한 자살 및 자해 콘텐츠 중 90% 이상이 누군가 신고하기 전에 자체 기술을 통해 발견되었습니다. 하지만 저희의 목표는 이 수치를 최대한 100%에 가깝게 끌어올리는 것입니다.

지금까지는 이 기술을 통해 유럽 연합(EU) 외부 지역에서 게시된 자살 및 자해 콘텐츠만 찾을 수 있었으며, 이로 인해 그러한 콘텐츠를 사전에 찾아내어 당사자에게 도움을 주는 데 어려움이 많았습니다. 하지만 오늘 EU에서 이 기술 중 일부를 공개한다는 기쁜 소식을 전해드립니다. 이 기술은 Facebook과 Instagram 모두에 적용될 것입니다. 이제 자살 및 자해 관련 규칙을 어길 가능성이 큰 게시물을 찾아내어 '탐색' 탭과 같은 위치에서 자동으로 삭제함으로써 해당 게시물을 눈에 잘 띄지 않게 만들 수 있게 되었습니다. 특정 게시물이 규칙을 어긴다는 것이 확실할 경우에는 이제 자동으로 해당 게시물을 완전히 삭제할 수 있습니다.

이는 EU에 거주하는 더 많은 사람들의 안전을 지켜줄 중요한 단계입니다. 하지만 저희는 훨씬 더 많은 진전을 이루고자 합니다. 다음 단계는 콘텐츠를 찾아 눈에 잘 띄지 않게 만들 뿐 아니라 EU 외 다른 모든 지역에서 이미 하고 있는 것과 같이 콘텐츠를 검토 담당자에게 보내 당사자에게 도움을 주는 것까지 모든 과정에 우리 기술을 활용하는 것입니다. 아직 EU에서는 나머지 단계를 진행하지 못해 당사자를 지역 단체와 응급 서비스에 연결해주는 데 어려움이 많은 상황입니다. 예를 들어 미국에서는 지난 8월과 10월 사이에 이 기술을 활용해 저희가 지역 단체와 응급 서비스에 이관한 계정의 80% 이상을 사전에 찾아낼 수 있었습니다. 현재 개인정보 보호 문제를 고려하면서 이 기술을 EU에 도입할 가장 좋은 방법이 무엇인지에 대해 규제 기관 및 정부 담당자들과 협의하고 있습니다. 더 큰 진전을 이루기 위해 적절한 균형점을 찾을 수 있기를 바랍니다. 여기서 멈추기에는 너무나도 중요한 문제이기 때문입니다.

타임라인: Instagram에서 자해 및 자살 콘텐츠를 처리하기 위해 취한 조치

• 2016년 12월:자해 게시물을 익명으로 신고할 수 있는 기능을 출시하고, 도움을 줄 수 있는 단체에 당사자를 연결해주기 시작했습니다.
• 2017년 3월: 자살 예방 도구를 Facebook Live에 통합하여 친구들과 가족이 더 쉽게 실시간으로 신고하고 다른 사람에게 도움을 청할 수 있도록 했습니다.
• 2017년 11월: Facebook Live를 비롯한 채널에서 누군가 자살에 대한 생각을 표출할 때 이를 식별하는 데 도움이 되는 기술을 유럽을 제외한 미국 외 국가에 공개했습니다. 최대한 빨리 당사자에게 도움을 주고 응급 서비스에 알릴 수 있도록 AI를 활용하여 신고에 우선순위를 지정하기 시작했습니다.
• 2018년 9월: Instagram을 이용하는 십 대 자녀를 둔 부모들을 위해 부모 가이드를 만들었습니다.
• 2019년 2월: 전 세계 안전 및 자살 예방 전문가들과 함께 정기적인 토의를 통해 점점 더 복잡해지는 자살 및 자해의 특성에 관해 논의하고 Instagram의 접근 방식에 대한 피드백을 주기적으로 듣기 시작했습니다.
• 2019년 2월: 이전에 자해 경험을 공유하는 콘텐츠로 허용된 경우에도 자살과 자해를 자세히 묘사하는 콘텐츠가 모두 금지되도록 정책을 확대했습니다. 또한 검색 시 이러한 콘텐츠를 찾기 어렵게 만들고, 관련 해시태그를 차단하고, 자해 경험을 공유하기 위해 올린 모든 콘텐츠에 민감한 콘텐츠 경고 화면을 적용하고, 이러한 유형의 콘텐츠를 게시하거나 검색하는 더 많은 사람들에게 리소스를 보냈습니다.
• 2019년 10월: 밈, 그림 등을 포함한 허구적인 자해 또는 자살 콘텐츠와 방법 또는 자료를 포함하는 콘텐츠가 금지되도록 정책을 확대했습니다.
• 2020년 9월: 온라인에서 자해 및 자살 콘텐츠를 안전하게 관리하는 방법에 관한 새로운 가이드라인을 출간하기 위해 Samaritans와 협업했습니다.
• 2020년 10월: 자살이나 자해와 관련된 용어를 검색할 때 모든 검색 결과 상단에 표시되는 메시지를 추가했습니다. 이 메시지를 통해 지원을 제공하고, 도움을 줄 수 있는 지역 단체로 당사자를 안내했습니다.
• 2020년 11월: 유해성이 더 높은 자살 및 자해 콘텐츠를 사전에 찾아 눈에 잘 띄지 않게 만드는 기술을 EU에서 공개했습니다.
• 2021년 8월: 전문가들의 자문을 받아 자살, 죽음 또는 우울증과 관련된 주제를 묘사하거나 이를 사소한 문제인 것처럼 다루는 콘텐츠를 식별해 발견하기 더 어렵게 만드는 기술을 공개했습니다. Instagram은 이러한 콘텐츠를 삭제하지 않고, 대신 탐색 탭과 같은 위치에서 해당 콘텐츠를 추천하지 않을 것입니다.

수치

저희가 얼마나 잘 정책을 시행하고 유해한 콘텐츠에 대한 조치를 취하는지에 대해 Instagram 커뮤니티가 저희에게 책임을 물을 수 있어야 한다고 생각합니다. 이를 돕기 위해 정기적으로 커뮤니티 규정 시행 보고서를 발표하여 Instagram이 조치를 취하고 있는 위반 콘텐츠의 수와 신고되기 전에 자체적으로 그러한 콘텐츠를 찾는 비율에 관한 글로벌 데이터를 공유하고 있습니다. 아래 연대표는 이러한 보고서에 나와 있듯이 Instagram에서 저희가 자살 및 자해 콘텐츠를 막는 데 어느 정도 진전을 이루었는지 개괄적으로 보여줍니다.

• 2019년 2분기 커뮤니티 규정 시행 보고서: 835,000건의 콘텐츠에 대해 조치를 취했으며, 이 중 거의 78%를 사전에 찾아냈습니다.
• 2019년 3분기 커뮤니티 규정 시행 보고서: 845,000건의 자살 및 자해 콘텐츠에 대해 조치를 취했으며, 이 중 79%가 넘는 콘텐츠를 사전에 찾아냈습니다.
• 2019년 4분기 커뮤니티 규정 시행 보고서: 897,000건의 콘텐츠에 대해 조치를 취했으며, 이 중 83%가 넘는 콘텐츠를 사전에 찾아냈습니다.
• 2020년 1분기 커뮤니티 규정 시행 보고서: 130만 건의 콘텐츠에 대해 조치를 취했으며, 이 중 거의 90%를 사전에 찾아냈습니다.
• 2020년 2분기 커뮤니티 규정 시행 보고서: 275,000건의 콘텐츠에 대해 조치를 취했으며, 이 중 거의 94%를 사전에 찾아냈습니다. 이 기간에 시행 건수가 적었던 것은 코로나19로 인해 콘텐츠 검토에 영향이 있었기 때문입니다.
• 2020년 3분기 커뮤니티 규정 시행 보고서: 130만 건의 콘텐츠에 대해 조치를 취했으며, 이 중 거의 95%를 사전에 찾아냈습니다. 코로나19로 인해 콘텐츠 검토가 계속해서 영향을 받는 가운데, 개선된 AI 덕분에 시행 건수가 코로나19 팬데믹 이전 수준으로 올라갔습니다.
• 2020년 4분기 커뮤니티 규정 시행 보고서: 340만 건의 콘텐츠에 대해 조치를 취했으며, 이 중 거의 94%를 사전에 찾아냈습니다.
• 2021년 1분기 커뮤니티 규정 시행 보고서: 270만 건의 콘텐츠에 대해 조치를 취했으며, 이 중 거의 94%를 사전에 찾아냈습니다.
• 2021년 2분기 커뮤니티 규정 시행 보고서: 300만 건의 콘텐츠에 대해 조치를 취했으며, 이 중 거의 96%를 사전에 찾아냈습니다.