オーリッチ・ローソン | ゲッティイメージズ
警察は現在、AIを使って偽の子供の画像を生成し、ネット上の児童虐待者を捕まえるのに役立てていることが、ニューメキシコ州がスナップチャットに対して起こした訴訟で今週明らかになった。
訴状によると、ニューメキシコ州司法省はここ数カ月、スナップチャットが「児童性的虐待素材（CSAM）の共有」や未成年者へのセクストーションのための主要なソーシャルメディアプラットフォームであることを証明するために秘密捜査を開始した。その理由はスナップチャットの「アルゴリズムが児童を成人の捕食者に提供している」ためだという。
捜査の一環として、捜査官は「14歳の少女『Sexy14Heather』のおとりアカウントを作成した」という。
スナップチャットが偽の未成年者のプロフィールを非公開に設定し、アカウントにフォロワーが追加されなかったにもかかわらず、「ヘザー」はすぐに「『child.rape』や『pedo_lover10』などの危険なアカウント、さらにもっと露骨なアカウント」に広く推奨されたとニューメキシコ州司法省はプレスリリースで述べた。
そして、「ヘザー」がたった1つのアカウントからのフォローリクエストを承認した後、推奨はさらに悪化した。「スナップチャットは、性的に露骨なコンテンツを含む、または交換しようとしているアカウントを持つ多数の成人ユーザーを含む、91人以上のユーザーを推奨した」とニューメキシコ州の訴状は主張している。
「スナップチャットは、児童の性的に露骨な画像を収集し、児童を見つけ出し、誘惑し、金銭をゆすり取る犯罪者の温床となっている」とニューメキシコ州の訴状は主張している。
捜査官は「Sexy14Heather」を装い、成人のアカウントとメッセージを交換したが、その中には「不適切なメッセージや露骨な写真を送ってきた」ユーザーもいた。「50+ SNGL DAD 4 YNGR」というユーザーとのやり取りでは、偽のティーンエイジャーは「自分の年齢を述べ、写真を送り、両親が学校に行かせていることに不満を述べ」、そのユーザーは「自分の写真」や性的に挑発的なチャットを送るよう促された。他のアカウントは「Heather」に「おそらく露骨な内容の交換」を求め、いくつかのアカウントは「未成年のペルソナにCSAMを共有するよう強要しようとした」とニューメキシコ州司法省は述べた。
「ヘザー」はスナップチャットの検索ツールも試し、他のティーンユーザーを検索した際に「性的に露骨な言葉は使っていないのに、アルゴリズムは彼女がCSAMを探していると判断したに違いない」ことを発見した。調査の結果、検索ツールは「CSAMの取引に関連するユーザーを推奨し始め」、その中には「naughtypics」「addfortrading」「teentr3de」「gayhorny13yox」「teentradevirgin」などのユーザー名のアカウントも含まれており、「これらのアカウントもCSAMの拡散に関与していたことを示唆している」ことが判明した。
AIのこの斬新な利用は、アルバカーキ警察がアレハンドロ・マルケスという男を起訴したことを受けて始まった。マルケスは2022年にスナップチャットのクイック追加機能を通じて知り合った11歳の少女を強姦した罪で有罪を認め、懲役18年の刑を宣告されたとニューメキシコ州の訴状は述べている。ニューメキシコ州の訴状によると、より最近では、アルバカーキの男性ジェレミー・ガスリーが「スナップチャットで知り合って関係を深めた12歳の少女を強姦した」罪で今年の夏に逮捕され、刑を宣告された。
過去には、警察がネット上で子供のふりをして、若く見える成人女性の写真や、警察官の若い頃の写真を使って児童虐待者を捕まえたことがある。性犯罪を専門とする弁護士、キャリー・ゴールドバーグ氏は、こうしたおとり捜査を行うには、AIが生成した画像を使う方が倫理的な方法だと考えられるかもしれないと、Arsに語った。「AIのおとりプロフィールは、実際の子供の画像を使うよりも問題が少ない」からだ。
しかし、児童安全の専門家や法執行機関は、インターネットがAI生成のCSAMでますます溢れていると警告しており、ゴールドバーグ氏はAIの使用は捜査を複雑にし、倫理的な懸念を伴う可能性があると警告した。
「AIがおとり捜査に利用されるという点では、被告人は、政府が自分たちがもともと犯すつもりのなかった犯罪を犯すよう仕向けたと主張して自己弁護できる」とゴールドバーグ氏はArsに語った。「もちろん、政府がディープフェイクAI児童性的虐待素材（CSAM）を作成すれば倫理的に問題となるだろう。なぜなら、そうした画像は違法であり、我々はこれ以上CSAMが出回ることを望んでいないからだ。」
専門家は、AI 生成の CSAM を回避するために、実際の子供の画像と露骨なコンテンツを組み合わせたデータセットで AI 画像ジェネレーターをトレーニングしてはならないと警告している。これは、実際の子供や児童虐待の実際の被害者を描写しているように見える場合に特に有害である。
ニューメキシコ州の訴状には、AI で生成された画像が 1 枚だけ含まれているため、同州の司法省が AI をどの程度幅広く使用しているか、あるいは警察がより高度な手法を使って同じ偽の子供の画像を複数生成している可能性があるかどうかは不明だ。また、警察が AI のおとりを使い始める前にどのような倫理的懸念が考慮されたのかも不明だ。
ニューメキシコ州司法省はアルス氏のコメント要請に応じなかった。
ゴールドバーグ氏はArsに対し、「法執行機関にはAIを責任を持って使用する方法に関する基準があるべきだ」と語り、「政府がテクノロジーを巧妙に利用して犯罪を犯すよう圧力をかけている場合、AIを中心としたおとり捜査の抗弁が増える可能性が高い」と警告した。