2022年、Googleは数億件の「海賊版」URLをインデックス登録前にブロック

 (torrentfreak.com)
1 ポイント 投稿者 GN⁺ 2023-09-05 | 1件のコメント | WhatsAppで共有
  • Googleは、USPTOによる海賊版対策戦略に関する照会に応じ、合法コンテンツの可用性と、検索レベルでのブロック・降格を主要な対応軸として提示した
  • 2022年にWebフォームで受け付けた6億8000万件以上のURLのうち、40%以上はGoogle Searchのインデックスになく、検索結果に表示される前にブロックされた
  • こうした先制的な削除リクエストはDMCA上の義務ではないが、権利者が大規模に活用しており、Googleはその通知をサイト降格シグナルにも反映している
  • Super Bowl、UFC、World Cupのようなライブイベントでは、違法配信が始まる前の予告ページも事前通知の対象になり得る
  • 繰り返し通報されるサイトは検索結果で降格され、Googleは降格されたサイトがSearchのクリックを平均で89%失うと説明している

海賊版対策の出発点

  • Googleは、USPTOの今後の海賊版対策戦略・政策に関する照会に回答し、合法コンテンツの可用性を強調した
  • 20年以上にわたる観察から、満たされていない消費者需要が海賊版利用の主要な要因として作用してきたと見ている
    • 合法的な供給が需要を満たせなければ、ユーザーは海賊版コンテンツを探す
    • より優れ、便利な合法的代替手段を提供することが、海賊版対策の方法の1つである
  • YouTube MusicとYouTube TVは供給面で役割を果たしており、検索エンジンもユーザーを海賊版コンテンツから遠ざけるよう調整されている
  • Googleは他のオンラインサービス提供者と同様に、DMCA削除リクエストを処理している
    • 権利者はGoogleの検索結果で海賊版コンテンツへのリンクを見つけた場合、URLの削除をリクエストできる
    • 過去10年間で、こうしたリクエストは70億件発生した

インデックス登録前のブロックと検索降格

  • Googleは、すでにインデックス登録されたURLを削除するだけでなく、検索エンジンにインデックス登録される前に通報されたURLもブロックする先制的削除をサポートしている
    • この措置はDMCAが求める義務ではない
    • 権利者はコンテンツがGoogleに捕捉される前に通報できる
  • 2022年にWebフォームで受け付けた6億8000万件以上のURLのうち、40%以上は受付時点でGoogle Searchのインデックスになかった
    • GoogleはこうしたWebページが検索結果に表示される前にブロックした
    • その通知はサイト降格シグナルにも利用される
  • まだ海賊版行為が実際には発生していない場合でも、削除通知は可能である
    • Super Bowl、UFCイベント、World Cupサッカー試合のような人気ライブ放送の違法ストリーム予告ページが対象である
    • 権利者は、今後のライブイベントを違法ストリーミングすると宣伝するWebページを事前通知できる
  • 通報された著作権URLはスコアカードに追加され、頻繁に通報されるサイトは検索結果で積極的に降格される
    • Googleは、降格されたサイトがSearchのクリックを平均で89%失うと説明している
    • 新しいドメインへリダイレクトして降格を回避することも、より難しくしたという
  • GoogleのUSPTO提出書簡の全文はPDFで公開されている

関連記事

1件のコメント

 
GN⁺ 2023-09-05
Hacker Newsのコメント

  • Yandexは、GoogleやBingが役に立たないスパムばかり出す検索では驚くほど優秀
    Googleで「watch $MOVIE free」と検索すると、実際に配信しているかどうかに関係なくNetflix、Hulu、Prime、Disneyのような結果が先に出てきて、残りは実際にはないのにあるふりをする検索最適化スパム
    一方Yandexでは、たいてい最初の結果がまさに欲しい720pや1080pの動画で、くだらない結果がほとんどない
    以前のGoogleにあった「著作権による削除リクエストで削除されたURLを見るにはクリック」のようなフッターが懐かしい
    ストリーミングサービスには全部課金しているが、カナダではシリーズ映画5本のうち、1作目はNetflix、2作目はParamount、3作目は現地で提供なし、4・5作目はDisneyやCraveにある、といった具合でうんざりする。テレビのシーズンも同じ

    • Googleで「Watch Oppenheimer Free」と検索すると、ほとんどがマルウェアや偽のメディア購入サイトで、「なぜまだNetflixやHuluにないのか」といった検索最適化スパムも混ざっている
      結果がまったくないよりはるかに悪い
    • Yandexの逆画像検索も、著作権を理由に去勢されていない
      昔のGoogleのように見えるが、ロシア語の結果がずっと多い
    • 今でもGoogleではこういう文言が出る：「Googleに提出された法的要請に基づき、このページから3件の結果を削除しました… LumenDatabase.orgでリクエストの内容を確認できます」や「米国DMCAに基づく申立てにより1件の結果を削除しました…」
      そのサービスに行くとメールアドレスを求められるが、使い捨てメールでも本来ブロックされたURLを匿名で確認できる
      トレントを検索するとき、今でもたまにこの方法を使っていて、クリックが数回増えるだけ
    • Yandex Translateも、多くの言語、特に東アジア圏の言語ではずっと良い
      単語と同義語を個別に見られる機能は、スラングを見るときに本当に大きな助けになる
    • Yandex.ruは、政治的にロシアに合わないものを除けば、検閲のないインターネットに近く見えるし、yandex.comは映画検索ではそれほど有用な結果を出さない
      Google.comは今では検閲されすぎ、壊れすぎという感じ

  • タイトルはかなり誤解を招く。タイトルのようにGoogleが自ら進んでURLを禁止したのではなく、権利者がコンテンツがインデックスされた後ではなく、インデックスされる前にGoogleの削除リクエストフォームを提出したように見える
    「Searchは、提出時点ではまだインデックスにないウェブページについての通知も受け取ります。それでも、そうしたウェブページが検索結果に表示されないよう先回りしてブロックし、この通知を降格シグナルに適用します」

    • 読むと、URLを許可リストから先回りして除外することに近いように見える
      もしそのインデックスのブラックリストにアクセスできたら、あらゆる見苦しいものが入っていそう
    • 「違いのない区別」だ

  • 「20年以上にわたり、満たされていない消費者需要が海賊版の主要な原動力であることを私たちは見てきました。合法的な供給で需要が満たされなければ、ユーザーは海賊版コンテンツを探します。したがって、海賊版に対抗する最善の方法の一つは、より良く便利な合法的代替手段を提供することです」とGoogleは書いている
    Googleは人々を子ども扱いしている。「海賊版」を定義してみてほしい。そして誰がそれを執行すべきなのか
    Googleは検索エンジンやその他のサービスを運営する会社にすぎず、執行に関与すべきでは絶対にない。まして単独で関与し、それを自慢させておくべきではない
    法執行は法執行機関が行うものであって、Googleが行うものではない。自分が警察だったら、自分の領域を侵したこの越権に大いに腹を立てていたと思う

    • 「海賊版」の定義はDMCAにかなり明確に書かれているので、言葉遊びをする必要はない
      Googleは完全に違法なコンテンツにもリンクし続けるべきだと言うのか。詐欺、児童性的搾取物、麻薬まで全部Googleのインデックスにあるべきだという意味なのか
      世界中にはかなり明確な法律があり、国によっては特定のサイトにリンクするだけで違法と見なす
      海賊版の利用者は新しいGoogleを嫌うかもしれないが、Googleがこうしなければならないのが明らかではないふりをする話ではない

  • コンピューターに詳しい人たちが、なぜ今でもGoogle Searchを使っているのか、時々不思議に思う
    思いつくほぼすべての検索語で、DuckDuckGoやYandexのほうが一貫して良い結果を出す

    • Googleは苛立つほど悪い。検索語の前に「-」を付けて除外しても、その単語が最初の数十件の結果タイトルにそのまま入っている
      DuckDuckGoは少しマシだが、「-」はその単語を完全になくすのではなく結果数を減らすものだと言っていて、上位3件のうち1件は依然として引っかかる
      たとえば-orderを使いながらswitchやrearrangeを検索したい場合、Googleでは詰む。Googleはこれらの単語を相互に置き換え可能、または十分に関連があると見なし、-orderを完全に無視する
      Googleを使っていると、自分がコンピューター音痴になったように感じる
    • さっきYandexを使ってみたが、どの検索でもGoogleより良さそうに見える
      驚いたし、しばらく既定の検索として使ってみるつもり
    • DuckDuckGoは自分の検索語の大半でひどく、Googleと同じ検索最適化スパム問題を抱えているように見える
      Yandexはロシアとの関係のせいで信頼しにくいのが残念。検索品質自体はかなり良い
      スパム結果ばかり出る検索にはBing Chatを使い始めたが、Bingが直接の回答では嘘をついたり誤解を招いたりしても、根拠として提示するリンクは概してかなり良い
    • GoogleとDuckDuckGoを両方使っていて、ブラウザや端末によってはBrave Searchも使うが、普通はGoogleのほうが自分には合っている
    • DuckDuckGoとGoogleを行き来して使っている
      普通の検索語を入れるときは、Googleが実際に探していた結果を持っていることがある

  • これが修理する権利のような領域にも影響するのか気になる
    サービスマニュアルや回路図のような有用な情報のかなり多くは、ほとんど海賊版の領域にまたがっているはずで、最近はずっと見つけにくくなったと感じる

    • 先月初め、1980年代の移動無線機器の絶版マニュアルを探していて、Yandexまで使うことになった
      Googleには何もなく、Yandexにもほとんどなかったが、それでも答えを組み立てられる程度にはあった
    • 自分も同じで、それがYandexをもっと使うようになった理由の一つ
      ここで他の人たちが言っているように、かなりうまく機能する

  • この禁止措置は、詐欺や欺瞞的なデザインパターンのある海賊版サイトとは関係ないのだろうか？ 最後に uBlock Origin なしで The Pirate Bay にアクセスしたときは、「当選しました」や「今すぐ無料ストリーミング」のような低品質な文言の広告、偽の検索結果、アダルト広告、UI の上に重なった見えないクリック領域が怪しい全画面広告を新しいタブで開くものに、ひどく悩まされた
    そうしたリンクをたどってみたわけではないが、結局はマルウェアのインストールやクレジットカード情報の入力要求につながったのだと思う
    Google の検索アルゴリズムがそうしたサイトの順位を下げたり禁止したりするなら理解できる。多くの人がこうした詐欺に引っかかるだろう

    • このスレッドでは、そうした検索語の Google の結果には詐欺・マルウェアがより多く含まれていると言われている
      実際にそうなのかは分からない

  • 保存済みリンクからも削除している
    https://torrentfreak.com/google-removes-pirate-sites-from-us...

  • 興味深いことに、これは Google に通知を送っている人たちのほうが、Google よりも最新のインデックスを持っているという意味だ
    The Pirate Bay が今でも意味のある場所なのか、それとも新しい競合がいるのか気になる
    権利者が自前でクローラーを動かしている可能性もあるが、それはあまりなさそうだし、ブロックするのも簡単に見える

  • 最近 Google 検索で苦労していることは、この画像のとおり: https://bigmemes99.funnyjunk.com/pictures/I+hate+google+so+m...

  • YouTube やその他の Google 運営サービスは、テレビ番組のアップロードのような海賊版対策に全力を尽くすべきだ
    収益化できないサイトでだけ、誰も望んでいない「正義」を見せびらかすのは滑稽だ