비육체적 강압에 의한 성 착취 및 성적 수치심을 느낄 만한 이미지 악용 사례로부터 보호하는 데 도움이 되는 새로운 도구

중요 포인트:

• Instagram은 비육체적 강압에 의한 성 착취 및 성적 수치심을 느낄 만한 이미지 악용 사례로부터 청소년을 보호하고, 잠재적 사기범 및 범죄자가 청소년을 찾아내거나 그들과 소통하는 것을 어렵게 만드는 새로운 기능을 테스트하고 있습니다.
• 또한 사람들이 잠재적인 비육체적 강압에 의한 성 착취 사기를 발견하고 이를 신고하도록 권하며, 불편함을 느끼게 하는 모든 것을 거절할 수 있도록 하는 새로운 방법을 테스트 중입니다.
• Instagram은 Lantern을 통해 다른 기술 회사와 비육체적 강압에 의한 성 착취 계정에 대한 더 많은 신호를 공유하여 인터넷상에서 이러한 범죄 행위를 차단하는 것을 돕고 있습니다.

비육체적 강압에 의한 금전적 성 착취 또한 극악무도한 범죄입니다. Instagram은 사기범이 온라인에서 피해자를 찾아내 착취하는 데 사용하는 방법을 이해하기 위해 이러한 범죄를 다룬 경험이 있는 전문가들과 긴밀히 협력하여, 이를 방지하는 효과적인 방법을 개발하기 위해 수년간 노력해왔습니다.

오늘은 이러한 범죄의 대처에 대한 최근 작업 개요를 공유하고자 합니다. 여기에는 비육체적 강압에 의한 성 착취 및 성적 수치심을 느낄 만한 이미지 악용 사례로부터 사람들을 보호하고, Meta 앱과 인터넷에서 사기범들이 잠재적인 표적을 찾기 어렵게 하기 위해 테스트 중인 새로운 도구가 포함됩니다. 또한 저희는 청소년이 비육체적 강압에 의한 성 착취 사기를 인지하고 스스로를 이러한 범죄로부터 보호할 수 있도록 지원하는 새로운 조치도 테스트하고 있습니다.

이번 업데이트는 원치 않거나 잠재적으로 유해한 접촉으로부터 청소년을 보호하기 위한 Instagram의 장기적인 노력에 기반을 두고 있습니다. 저희는 청소년이 이미 연결되어 있지 않은 사람들로부터 메시지를 받지 못하도록 더 엄격한 메시지 설정을 기본으로 설정하고 있습니다. 또한 잠재적인 사기성 계정과 이미 연락을 하고 있는 청소년에게 안전 알림을 표시하며, 개인적인 사진 유포 위협 DM을 신고할 수 있는 전용 옵션을 제공합니다. 또한 실종학대아동방지센터(NCMEC)가 청소년이 개인적인 사진에 대한 주도권을 되찾고 이 사진이 온라인에서 공유되지 않도록 하여 사기범으로부터 주도권을 빼앗을 수 있도록 돕는 플랫폼 Take It Down을 개발하는 것을 지원했습니다.

DM에서의 나체 이미지 방지 소개

친구, 가족 또는 좋아하는 크리에이터와 좋아하는 것을 공유하기 위해 DM을 사용하는 경우가 대부분이지만, 비육체적 강압에 의한 성 착취 사기범은 비공개 메시지를 통해 성적 수치심을 느낄 만한 이미지를 공유하거나 요구할 수도 있습니다. 이 문제를 해결하기 위해, Instagram DM에서 나체 이미지가 포함된 것으로 감지되는 이미지를 흐리게 처리하며 이러한 이미지를 보내기 전에 다시 한번 생각하도록 유도하는 새로운 나체 이미지 방지 기능을 곧 테스트할 예정입니다. 이 기능은 DM에서 원치 않는 나체 이미지를 보지 못하도록 보호할 뿐만 아니라, 나체 이미지를 보냄으로써 상대방 또한 자신의 이미지를 보내도록 유도하는 사기범으로부터 사용자를 보호하기 위해 설계되었습니다.

전 세계의 만 19세 미만 청소년에게는 나체 이미지 방지 기능이 기본적으로 설정되어 있으며 성인에게는 이 기능을 설정하도록 권장하는 알림을 표시합니다.

나체 이미지 방지 기능을 설정할 경우, 나체 이미지가 포함된 이미지를 보내는 사람들에게는 민감한 사진을 보낼 때 주의를 기울여야 한다는 메시지와 함께 마음이 바뀌면 사진을 보내지 않을 수 있다는 메시지가 표시됩니다.

받은 나체 이미지를 전달하려고 하는 사람에게는 다시 생각해 볼 것을 권유하는 메시지가 표시됩니다.

나체 이미지가 포함된 이미지를 받으면 경고 화면 아래 자동으로 흐리게 처리됩니다. 이는 받는 사람이 나체 이미지를 직접적으로 마주하지 않으며 볼 것인지에 대한 여부를 선택할 수 있음을 의미합니다. 또한 보낸 사람을 차단하고 신고할 수 있는 옵션과 함께 응답에 대한 압박감을 느끼지 않도록 하는 메시지를 표시합니다.

이러한 이미지를 보내거나 받을 때 사람들은 전문가의 안내를 토대로 개발된 잠재적인 위험에 대한 안전 관련 팁으로 연결됩니다. 해당 팁에는 사람들은 회원님이 모르는 사이에 이미지를 스크린샷으로 캡처하거나 전달할 수 있다는 것, 이후에 상대방과의 관계가 바뀔 수 있다는 것, 상대방이 말하는 것과 실제가 다를 경우 프로필을 주의 깊게 검토해야 한다는 것 등이 포함됩니다. 또한 이 팁은 Meta 안전 센터, 지원 상담 기관, 만 19세 이상 사용자를 위한 StopNCII.org, 만 19세 미만 사용자를 위한 Take It Down과 같이 다양한 리소스로 연결됩니다.

나체 이미지 방지는 기기의 머신 러닝을 사용하여 Instagram에서 DM으로 전송된 이미지에 나체 이미지가 포함되어 있는지 여부를 분석합니다. 이미지가 기기 자체에서만 분석되기 때문에 나체 이미지 방지는 종단간 암호화된 채팅에서 작동하며, Meta는 누군가가 이를 신고하지 않는 한 해당 이미지에 액세스할 수 없습니다.

잠재적 사기범이 청소년과 연결되지 못하도록 차단

Instagram은 비육체적 강압에 의한 성 착취에 참여하고 있는 사람을 감지할 경우 해당 계정을 삭제하고, 새 계정을 만들지 못하도록 조치를 취하며 필요한 경우 NCMEC 및 사법당국에 신고하는 것과 같이 엄격한 조치를 취합니다. 또한 저희의 전문가 팀은 이러한 범죄자들의 네트워크를 조사하고 활동을 방해하며 계정을 비활성화하며, 작년의 여러 네트워크를 포함하여 NCMEC 및 사법당국에 신고하기 위해 노력하고 있습니다.

현재 비육체적 강압에 의한 성 착취 행위를 나타내는 다양한 신호를 토대로 하여, 잠재적으로 이러한 사기에 연관된 계정을 식별하는 기술 또한 개발 중입니다. 이러한 신호가 반드시 해당 계정이 규칙을 위반했다는 증거가 되지는 않지만, 해당 계정이 청소년 계정을 찾아내 소통하는 것을 방지하기 위한 예방 조치를 취하고 있습니다. 이는 잠재적으로 의심스러운 다른 계정이 청소년을 찾아내 소통하는 것을 방지하기 위해 이미 진행 중인 작업을 기반으로 합니다.

이를 위한 한 가지 방법은 잠재적인 비육체적 강압에 의한 성 착취 계정이 메시지를 보내거나 사람들과 소통하는 것을 보다 어렵게 만드는 것입니다. 이제 잠재적인 비육체적 강압에 의한 성 착취 계정에서 보내고자 하는 모든 메시지 요청은 받는 사람의 숨겨진 요청 폴더로 바로 전송됩니다. 이는 받는 사람이 메시지 알림을 받지 않으며 해당 메시지를 볼 필요가 없다는 것을 의미합니다. 이미 사기 또는 비육체적 강압에 의한 성 착취 가능성이 있는 계정과 채팅하고 있는 사용자에게는 안전 알림을 통해 개인적인 사진 유포 위협을 신고할 것을 권하고, 불편함을 느끼게 하는 모든 것을 거부할 수 있음을 다시 한번 상기시킵니다.

청소년의 경우, 더 많은 노력이 기울여지고 있습니다. 성인이 연결되지 않은 청소년과 DM 채팅을 시작하는 것은 이미 제한되고 있으며, 1월에는 만 17세 미만(일부 국가에서는 만 19세 미만) 청소년의 경우 보내는 사람의 나이와 관계없이 이미 연결된 사람만 메시지를 보낼 수 있도록 하는 더 엄격한 메시지 기본 설정을 도입했습니다. 이제 청소년 프로필의 '메시지' 버튼은 비육체적 강압에 의한 성 착취 가능성이 있는 계정에는 이미 해당 청소년과 연결되어 있더라도 표시되지 않습니다. 또한 사람들의 팔로워, 팔로잉 및 좋아요 리스트에서 청소년을 숨기고, 검색 결과에서 청소년 계정을 찾기 어렵게 만드는 기능도 테스트 중입니다.

사기범이 접근했을 가능성이 있는 사람을 위한 새 리소스

비육체적 강압에 의한 성 착취로 삭제된 계정과 소통했을 가능성이 있는 사람들을 위한 새로운 팝업 메시지를 테스트 중입니다. 이 메시지는 비육체적 강압에 의한 성 착취 방지 허브, 지원 상담 기관, 친구에게 연락할 수 있는 옵션, 만 19세 이상 사용자를 위한 StopNCII.org, 만 19세 미만 사용자를 위한 Take It Down 등 전문가가 지원하는 리소스로 사람들을 연결합니다.

전 세계의 새로운 어린이 안전 상담 기관도 앱 내 신고 절차에 추가되고 있습니다. 이는 청소년이 나체 이미지, 개인적인 사진 유포 위협, 성적 학대 또는 성매매 알선과 같은 관련 문제를 신고할 경우 가능한 지역 어린이 안전 상담 기관으로 안내한다는 것을 의미합니다.

인터넷상 비육체적 강압에 의한 성 착취 사기 대처

11월, Instagram은 기술 연합에서 운영하는, 기술 회사들이 어린이 안전 정책을 위반하는 계정과 행위에 대한 신호를 공유하는 프로그램 Lantern의 창립 회원임을 발표했습니다.

범죄자들은 단일 플랫폼에만 국한되지 않으며, 이에는 비육체적 강압에 의한 성 착취 사기범도 포함되기 때문에 업계의 협력이 매우 중요합니다. 이러한 범죄자들은 피해자들이 사용하는 여러 앱에서 그들을 표적으로 삼으며, 종종 한 앱에서 다른 앱으로 이동하며 대화합니다. 따라서 저희는 더 많은 비육체적 강압에 의한 성 착취 관련 신호를 Lantern과 공유하기 시작하여 이 중요한 협력을 토대로 개별적인 플랫폼뿐만 아니라 인터넷 전반적으로 이러한 성 착취 사기를 방지합니다.