Cloudflare、ワンクリックブロックで無料かつ無制限のAIスクレイピングを終了へ

Cloudflareは月曜日、ネットワーク上のすべてのサイトにワンクリックでボットをブロックする権限を与えることで、終わりのないAIスクレイピングの時代を終わらせるのに役立つと主張する新しいツールを発表した。

これは、無制限の AI スクレイピングの洪水を止めるのに役立つだろうが、世界中のコンテンツ クリエイターにとってさらに興味深いのは、ボットが最もスキャンするコンテンツを特定しやすくなるため、サイトは最終的にアクセスを遮断し、最も価値のあるコンテンツをスクレイピングするボットに料金を請求できるようになるだろうと Cloudflare は述べている。その未来への道を開くために、Cloudflare は、すべてのサイトがサイトのより詳細な AI 監査に基づいてコンテンツ取引を交渉できるマーケットプレイスも作成している。

Cloudflareのブログによると、これらのツールにより、コンテンツ制作者は「初めて」、AIモデルプロバイダーがコンテンツをどのように使用しているかを「迅速かつ簡単に理解し、モデルがコンテンツにアクセスできるかどうか、またどのようにアクセスできるかを制御する」ことができるという。

Cloudflare はツールを説明する長いブログの中で、生成 AI の台頭によりコンテンツの価値を評価することが難しくなったため、コンテンツ作成者にとってこれは必要不可欠であると示唆した。

これまで、サイトは、検索エンジンのクローラーのようにトラフィックを促進する有益なボットへのアクセスを承認し、サイトをダウンさせたり機密データや競合データをスクレイピングしようとする悪質なボットへのアクセスを拒否することを区別できました。

しかし現在、「大規模言語モデル（LLM）やその他の生成ツールによって、どちらのカテゴリにも完全には当てはまらない、より曖昧な第3のカテゴリのボットが生み出された」とCloudflareは述べている。これらのボットは、良いボットのように「必ずしもトラフィックを増やす」わけではないが、悪いボットのように機密データを盗もうとすることもないため、多くのサイト運営者はAIスクレイピングを許可することによる「価値交換」について明確な考え方を持っていないとCloudflareは述べている。

これは問題だ。なぜなら、すべてのスクレイピングを有効にすると、長期的にはコンテンツ制作者に損害を与える可能性があるからだ、とCloudflareは予測した。

「多くのサイトが、これらのAIクローラーによるコンテンツのスキャンを許可したのは、これらのクローラーが大部分において『善良な』ボットのように見えたからだ。その結果、コンテンツがAIによって書かれた回答に再パッケージ化され、サイトへのトラフィックが減少するだけだった」とクラウドフレアは述べた。

こうした制限のないAIスクレイピングは「オープンなインターネットにリスクをもたらす」とCloudflareは警告し、同社のツールがオンラインでコンテンツをスクレイピングする方法の新たな業界標準を確立する可能性があると示唆した。

ワンクリックでボットをブロックする方法

自分のコンテンツがどのように扱われるかをコントロールしようと闘うクリエイターたちは、ニューヨーク・タイムズ紙のように、AI企業を訴えて望ましくないスクレイピングをブロックするか、コンテンツを有料にして一般市民の情報へのアクセスを減少させるかの選択を迫られることが増えている。

一部の大手出版社はコンテンツのライセンス供与のために AI 企業とコンテンツ契約を結んでいるが、Cloudflare は新しいツールがすべての人にとって公平な競争条件の実現に役立つことを期待している。こうすることで、「コンテンツをよりコントロールしたいウェブサイトと、最新のデータソースを必要とする AI モデル プロバイダーの間で透明性のあるやり取りが可能になり、誰もが恩恵を受けられる」と Cloudflare は述べている。

Cloudflareによると、現在、Cloudflareのサイト運営者は、各AIボットを1つずつ手動でブロックするのをやめ、「ワンクリックですべてのAIボットをブロック」することを選択できるという。

Cloudflare によると、これを行うには、Cloudflare ダッシュボードの[セキュリティ]タブの[ボット]セクションにアクセスし、右上隅の青いリンクをクリックして、「Cloudflare のプロキシがボット トラフィックを処理する方法を設定する」ことができるという。その画面で、オペレーターは簡単に「[AI スクレーパーとクローラーをブロック]カードのボタンを[オン]の位置に切り替える」ことができ、すべてをブロックして、コンテンツ作成者に、再度有効にするアクセス (ある場合) を戦略的に検討する時間を与えることができる。

ボットをブロックするだけでなく、オペレーターは AI 監査を実施して、サイトのどのセクションがどのボットによって最もスキャンされているかを迅速に分析することもできます。そこからオペレーターはどのスクレイピングを許可するかを決定し、高度な制御を使用してどのボットがサイトのどの部分をスクレイピングできるかを決定できます。

「一部のチームにとっては、AI検索エンジンに関連するボットに自社のインターネット プロパティをスキャンさせるという決定になるだろう。なぜなら、こうしたツールは依然としてサイトへのトラフィックを誘導できるからだ」と Cloudflare のブログは説明している。「他の組織は、特定のモデル プロバイダーと契約を結び、そのプロバイダーのあらゆるタイプのボットに自社のコンテンツへのアクセスを許可したいと考えているかもしれない」

すでにボットを相手にモグラ叩きをしているパブリッシャーにとって、Cloudflare のツールによって、サイトを「良い」目的と「悪い」目的の両方でスクレイピングする特定のボットを制限するルールを記述し、良いものを残し悪いものを捨てることができれば、大きなメリットとなるだろう。

おそらく、現在パブリッシャーにとって最も苛立たしいボットは、検索結果に入力するためにサイトをスクレイピングするだけでなく、コンテンツを要約することでソースサイトへのトラフィックに悪影響を与える可能性のあるGoogle検索AI概要を生成するためにAIをトレーニングするGooglebotです。パブリッシャーは現在、検索結果での可視性を失うことなく、GoogleのAI概要を促進するトレーニングモデルをオプトアウトする方法がなく、Cloudflareのツールではパブリッシャーをその不快な状況から救うことはできないと、CloudflareのCEOであるMatthew Prince氏がArsに確認しました。

すべての AI スクレイピングをオフにしたいサイト運営者にとって、Googlebot によるスクレイピングをブロックして意図せずトラフィックの低下を引き起こすことは、Cloudflare のワンクリック ソリューションを使用しないための説得力のある理由となる可能性があります。

しかし、プリンス氏は「Google のやり方は長期的には持続可能ではない」と予想しており、「CloudFlare は、Googlebot のようなボットが AI をトレーニングするために Web をスクレイピングする方法をクリエイターに「より細かく制御」できるようにするために、Google や Google のような他の企業に協力することになるだろう」と述べている。

プリンス氏は Ars に対し、Googlebot のスクレイピングが検索のためなのか AI のためなのかという「哲学的な」内部疑問を Google が解決する一方で、特定の種類のスクレイピングから 1 つのボットをブロックする技術的解決策がまもなく登場するだろうと語った。そしてその間、「サイトの利用規約の改善に基づく契約法に依拠できる」法的解決策もあるだろう。

もちろん、すべてのサイトが AI スクレイピングに異議を唱える訴訟を起こす余裕があるわけではないが、クリエイターが自らをよりよく守れるように、Cloudflare は「サイトが AI スクレイピングをより制御できるようになるにつれて、すべてのコンテンツ クリエイターがサイトに追加して権利を法的に保護できるモデル利用規約」を起草した。これらの規約により、サイトはおそらく、Cloudflare の分析ツールを通じて発見された制限付きスクレイピングに異議を唱えることが容易になるだろう。

「いずれにせよ、Google はここでさらに細分化を余儀なくされるだろう」とプリンス氏は予測した。