規模の不経済：詐欺、スパム、サポート、モデレーション

規模の不経済：詐欺、スパム、サポート、モデレーション

• 大規模プラットフォームは、小規模プラットフォームよりも詐欺、スパム、悪意のある行為などの割合が高い。
• 例えば、Signal と WhatsApp を比較すると、Signal ではスパムメッセージを受け取ったことがないが、WhatsApp では定期的に受け取る。
• 技術コンテンツを読む場所を比較すると、あまり知られていない小規模フォーラムや lobste.rs のようなサイトは、大きなプラットフォームより悪質なコンテンツの割合が低い。
• Reddit、YouTube、Facebook、Google の検索結果など中規模〜大規模のソーシャルメディアは、より高い割合で有害コンテンツを抱えている。
• プラットフォームの規模が大きくなるほど、適切なサポートを受けられる可能性は低くなり、誤った停止や禁止でアカウントが復旧される可能性も下がる。

大規模プラットフォームの問題

• 大規模プラットフォームはより優れたモデレーションやスパム／詐欺フィルタリングを行えるという主張への疑義を提示する。
• Google のエンジニアや思想家は、大規模プラットフォームだけが有効なモデレーション、スパムフィルタ、詐欺検知を実現できると主張するが、実際には小規模検索エンジンの方が SEO の悪用に対して強い抵抗力を持つ。
• メール管理がスパム負荷のため不可能だという一般的な認識がある一方で、多くの人は自分でメールを管理し、Gmail と同等あるいはそれ以上の結果を得ている。

大規模プラットフォームのモデレーション問題

• マーク・ザッカーバーグは、大規模なテック企業を分割するとモデレーション問題が悪化すると主張した。
• ザッカーバーグの主張は、プラットフォームが大規模であればより多くの資源を持ち、より良いモデレーションができるということだが、実際にはその資源は他の用途に向けられている。
• 例えば、Meta はメタバース開発に 500 億ドルを投資したが、モデレーションプラットフォームや関連技術には投資していない。

サポート問題

• 大規模プラットフォームのユーザーサポートは一般に不満が大きい。
• 一般的なサポートチャネルは非効率で、ユーザーはしばしば定型的な拒否通知や「カフカ的な悪夢」を経験する。
• 有料サポートを利用しても、無料サポートと大きく変わらない体験だと報告されている。
• 大企業がさらに規模を拡大するにつれ、サポートの効率を高めるどころか、より安価で利益を最大化する方向のサポートが提供される。

GN⁺の意見

• 大規模プラットフォームがより多くの資源を持っているにもかかわらず、ユーザー体験の質はしばしばより小規模なプラットフォームより劣る。これは、これらプラットフォームが資源を利益最大化ではなくユーザー体験向上に使っていないためだ。
• ユーザーサポートの質はプラットフォーム規模に反比例する傾向があり、これは大規模プラットフォームの複雑さと非効率なサポートシステムが原因だ。
• 本稿は大規模プラットフォームの欠陥を指摘し、ユーザーがより小規模なプラットフォームを選ぶ際に考慮すべき重要な要素を提示する。

[GN⁺]

Hacker News のコメント

• この記事は、この種の問題の範囲を過小評価していると思う。少し触れてはいるが、全体として、企業が極端に巨大化すること自体が悪いのだと考えるようになった。これはコンテンツモデレーションだけの問題ではない。
  大企業は個々の消費者を気にする必要がなくなり、実際にも気にしなくなる。そのうえで、「自分たちがやってきたことをうまくやる」ことよりも、市場での地位を守ることにより多くの時間を使い、ときにはコングロマリットのようにまったく無関係な市場へ進出しようとする。
  「規模の経済」が良いのは、個々の企業の金儲けという意味に限った話で、経済全体・社会・人類にとっての利益として見れば、ほぼすべての規模の経済は有害だと思う。
  規模の経済は、草や雑草が生い茂るように自然なものだが、だからといって良いものではなく、ほとんどの実用的な目的では積極的に抑制すべきだ。企業が大きくなるのは自然なことだが、大企業は大きくなったという理由だけでも、定期的に分割されるべきだと思う。

  • 核心はモラルハザードに見える。意思決定の結果から自分が切り離されている状態のことで、人間活動の規模が大きくなるほどそのリスクは急速に高まり、ある規模ではほぼ1に近づく、という直感も含んでいる。
    モラルハザードには、悪意のある、あるいは粗末なサポートのように他人へ直接与える被害だけでなく、汚染や地域経済の停滞のような外部効果を通じた間接的な被害も含まれる。この直感は明らかに正しいと思う。
    モラルハザードは、家族や村のような小さな集団にあった社会的な是正回路を断ち切る一方で、莫大な富の創出と蓄積も可能にする。哲学ではこれを汚れた手の問題と呼ぶ。
    https://en.wikipedia.org/wiki/Moral_hazard
    https://plato.stanford.edu/entries/dirty-hands/
  • 「経済全体・社会・人類にとっての利益として見れば、ほぼすべての規模の経済は有害だ」という部分までは同意していた。
    生活必需品における規模の経済のおかげで、誰もが自給農業をしなくてもよくなり、縫製された服を着られるようになった。
    どちらにも正しい面がある。釘の生産を手作業でしてほしいとは思わないが、カスタマーサポートに電話したときには、実際に権限を持つ人に応答してほしいとも思う。
  • 競争のような仕組みが企業規模を抑制すべきなのに、最近の企業はただ競合他社を買収して押さえ込んでしまう。

• インターネット詐欺の問題は、詐欺師に実際の責任を問う人がほとんどいないことにある。現状では事実上「追い出す」だけで、詐欺師は追い出されたあとにまた試し、最終的にはほぼ必ず成功してしまう。
  そのため、詐欺産業は概して収益性が高く、成長し続けている。
  Blizzardで働いていたときは、不正なクレジットカード取引を見つけ、実際に請求される前に取り消す仕組みがたくさんあったが、詐欺師を通報して翌日に同じことができないようにする手続きはなかった。
  おそらくどの会社も同じような戦略を使っているはずだ。どの会社にも、詐欺師に責任を負わせて再試行できないようにする現実的な手段がないからだ。
  だから詐欺の問題はどんどん大きくなり、管理不能で制御不能になっている。政府が詐欺産業の規模を縮小するための専門組織を作り、詐欺師を捕まえて責任を問う必要があるという政治的難題だ。
  さらに難しいのは管轄をまたぐことなので、複数国の政府が協力しなければならない。今は不可能に見えるかもしれないが、それまでは詐欺は悪化し続けると思う。

  • 何ができるだろうか。IPを追跡しても、VPNやプロキシ網、あるいは感染したおばあちゃんのWindows XPマシンに行き着く可能性が高い。その次はドアを破って突入するのか？
    20ドルの購入案件でFBIを呼ぶわけにもいかない。
  • 法の構造とインセンティブに問題が多いと思う。逮捕件数で測っても問題を解決していることにはならないし、良い測定基準があるのかも分からない。
    麻薬戦争を比喩にできる。主な標的は常に末端の売人と使用者で、彼らは捕まえやすく、「何かをしている」と言いやすかった。だが麻薬販売ビジネスや街頭での供給量への影響は比較的小さく、根本原因を狙うのははるかに難しい。
    Blizzardには、詐欺行為を通報しても短期的な報酬はなく、長期的に役立つかどうかも分かりにくい。それでも結局、正しいことをするのが重要だ。
    「素早く動いて壊せ」は優れた戦略になり得るが、単独で使うべきではない。そうすると片付けられない破壊の痕跡だけが残る。目標を数値化するのは難しいため、あらゆる目的関数はずれやすく、人がそれを見て可能な限り方向を修正しなければならない。
    素早く押し進める人と、減速して修理しようとする人の両方が必要で、その緊張の中に調和がある。どちらの陣営を選ぶにせよ、反対側にも価値があることを認めるべきだ。
  • Blizzardのような会社に詐欺師を通報させるための良いインセンティブは何だろうかと思う。
    例えば、会社が通報に$Xを支払い、その通報が罰金につながれば$X5を受け取り、でたらめな通報だと判明したら追加で$X10を支払う、という方式が考えられる。通報が有効に見えたが罰金につながらなければ報酬はない。
    誤ったインセンティブが過剰通報や別の副作用につながるのではないかと心配だ。
  • 企業が消費者に仕掛ける詐欺が常態化していると、この政治的問題はさらに難しくなる。ダークパターンや、粗悪な、あるいは存在しないサービスに料金を取る企業はすでに多い。
    急に詐欺を起訴し始めれば、金を持つ主体にとって都合の悪いことが起きる。
  • 記事で挙げられている問題なら、国際的・多政府のタスクフォースも1つの解決策になり得るが、記事前半の問題だけで見れば、地域の信頼できる店で買うほうがずっと簡単な勝ち筋に見える。

• こうしたプラットフォームの本当の「規模の経済」は、サポート・モデレーション・不正防止をよりよく提供することではなく、実質的に何もしないまま市場支配力で押し切れる点にある。
  小さな町でAndyのタクシーサービスを運営していてカスタマーサポート上の問題が起きたら、自分でちゃんと対応しなければならず、そうしなければ潰れる。Uberならただ無視する。
  効率性とは関係なく、顧客をひどく扱ってもやり過ごせる独占力を確保する問題である。さらに攻撃対象領域が大きくなることも重なり、大きなプラットフォームほどスパム・詐欺・サポートで悪くなる。

  • 人々はUberが独占だから使っているわけではない。便利で、ある程度知られたサービスであり、だいたい予測可能で、ほぼどこでも使えるから利用している。
    Uberへの不満は多いが、Uber以前のタクシー体験ははるかにひどかった。模範的なサービスを提供するAndyの小さな町のタクシーサービスなど存在しなかったか、旅行中に安定して見つけられるものではない例外だった。
  • Uber以前にもタクシーサービスがひどかったことはわかっている。小さな町にはそもそも競争がなく、問題を直す理由がなかった。
    大都市でも、ほとんどのタクシーは路上で拾うか中央配車で呼ぶ形だったので、個々のタクシー運転手が自分の評判を気にする理由は少なかった。特定のタクシーを選んで乗るわけではなく、反復取引も少ないため、カスタマーサービスは重要ではなかった。
  • Andyの小さな町のタクシー会社なら、20〜50ドルの乗車トラブルをめぐって誰かが数千ドルを使って争うことはない、と賭けるだろう。
    気にする必要はなく、集団訴訟も集団が小さすぎて弁護士が引き受けない可能性が高い。
  • ごく小さな町では、地域で唯一のタクシーサービスなので潰れないだろう。十分に小さな地域では、誰でも独占力を作り出せる。

• 2014年にJeff Atwood、つまりcodinghorrorがStack OverflowからDiscourseを作る側へ移ったとき、関連する講演をしており、なぜDiscourseの信頼レベルシステムをあのように作ったのかを短く説明した一文が記憶に残っている。
  「コミュニティとともにスケールする唯一のものは、コミュニティだ」
  要するに、ユーザーをモデレーターへと育てなければならないということだ。モデレーターを別の方法で確保するのは持続可能ではない。
  http://discourse.bridgefoundry.org/t/link-to-jeff-atwood-tal...

  • 投稿者、投稿者の傾向と気分、投稿、評価者、評価者の傾向と気分、評価、潜在空間キュレーション、ユーザーの好みと気分をすべて潜在変数として置く、と想像できる。
    ユーザー：「AI、今の私の読書状態は何？」 AI：「EveningSurfMood2で、StuffFromFriendsを強調中です。EclecticTopicsLargeにはDangのHighQ Discussion v3、Alice12のClueful Author Making Coherent Argument Filter、huggingのUnusuallyInsightful51が入っています」
    読んでいる途中のAI：「Mastatronから評価リクエストが来ています。この投稿は大規模な人間-AI計算ハイブリッドの機会を過小評価していますか？」 ユーザー：「ああ、確かに」
  • この方式がFacebookのような場所ではどう機能するのか気になる。Facebook Groupsには管理者がいるが、一般公開の投稿や友人向けの投稿でもユーザーモデレーションは可能なのだろうか？
  • これはStack Overflow自体にも問題を生まなかっただろうか？非常に強力なコミュニティモデレーターたちをめぐる大きな事件があったと記憶している。
  • 「ユーザーをモデレーターに育てる」というのは、結局無償労働ではないのか？

• 筆者は選択効果の利点を能力と取り違えているように見える。
  プラットフォームで不正対策をやったことがある人なら、不正にも一種の市場があることを知っている。ある脆弱性を習得して実行したときに得られる利益、必要な労力、繰り返せる回数に応じて、どのプラットフォームにも市場清算水準の不正が発生する。
  小さなプラットフォームで不正がはるかに少ないのは、たいてい攻撃する価値がはるかに低いからで、その原因はまさに小さいという事実そのものにある。
  大きなプラットフォームは実際には不正・スパム防止能力がはるかに高いが、運営範囲があまりに魅力的な標的であるため、依然として多く攻撃される。
  世界中の詐欺師がAmazon、Google、Facebookを相手にしている構図だ。非常に不均衡な戦いであり、全体を考えればプラットフォーム側は意外なほどよく持ちこたえていると思う。

  • 筆者は付録の一つでこの点を扱っている。大企業は実際にはより優れたスパム・不正防止システムを持っているが、より洗練された攻撃を受けるため悪く見える、という論理をよく聞くという。
    しかしその論理が正しく、システムが本当に優れているなら、絶対的な基準ではRedditやFacebookでスパムを撒いたり詐欺を働いたりすることはHNより難しいはずだが、実際にはまったくそうではない、という反論である。
    この答えは直感的に妥当だ。大企業が本当に悪用・不正防止により有能なら、長期間にわたって漏れ出てくる不正は、もっと微妙で、あからさまでないものになっているはずだ。
  • 誤りには見えない。小さなプラットフォームは攻撃価値が低いので不正が少なく、大きなプラットフォームは自ら詐欺師にとって価値が高すぎるプラットフォームを作っておきながら、その問題と戦っているのだ。
    彼らのビジネスモデルが「何が何でも規模」なので顧客体験が悪化するなら、どれほど有能かはあまり重要ではない。
  • 大きなプラットフォームが詐欺師により強いインセンティブを与える、というだけではない。そのインセンティブ提供は、大きなプラットフォームにとってバグではなく機能である。
    可能な限り大きなユーザープールへのアクセス権を売るビジネスモデルと一体なのだ。
    大きなプラットフォームのほうが不正・スパム防止にずっと有能だという話には同意しない。彼らは意図的に無能である。自動アルゴリズムが生むエラー量を処理するのに十分な人間のサポートを提供する本当の能力を実装できないからだ。
    コストのせいではなく、そうすると本当の顧客である広告主やアクセス権の購入者に提供する価値が下がるからである。
  • 不正が存在することはわかる。プラットフォームが小さくても大きくても、顧客に100%補償できるのか？可能、または不可能なのはなぜか？
  • 選択効果は記事と矛盾しない。筆者が言う経験的な規模の不経済を生む源泉の一つである。

• おおむね同意だが、いくつかの例は的外れだと思う
  Redditはこの効果による悪い例ではなく、むしろ良い例。Redditは1つの巨大なプラットフォームではなく、独立してモデレーションされる何千ものsubredditの組み合わせである。小さなsubredditは規模が小さいからこそ、Redditは成り立っている
  自分でメールサーバーを運用することも反例ではなく、本当に悪い例で合っている。本質的には小さなコミュニティを調整しているのではなく、世界全体を、ただし自分の視界からだけ調整しているようなものだからだ。誰でも誰にでもメールを送れる
  だから最悪の両面を併せ持つ。大規模であることによる予算はなく、大規模な問題はそのまま被る

  • 自分のメールサーバー運用経験は、danluuが言っていることとまったく同じ。受信メールを受け取り、スパムを分類することはまったく問題ではないが、送信メールが頻繁にブロックされる
    自分が世界全体を調整して苦労しているのではなく、世界全体が自分を調整しているのだ
  • さらに悪いのは、スパマーのほうが、小規模メールサーバーや数人の従業員よりも、他人のスパムフィルターや馬鹿げた好みをすり抜けてメールを通す「専門業務」に長けている点だ
    小さな組織はスパムに見えないようにする方法をよく知らず、企業でよくある迷惑なメール署名のようなアンチパターンも使う
  • それでもなお、小さなコミュニティのために調整していることに変わりはない。ある人にとってのスパムが、別の人にとっては正当なメールかもしれない
    だからGmailが自分のスパムフィルターと同じくらい正確になるのはずっと難しい。自分のフィルターは数百人分の好みだけ学習すればよいが、Gmailは必然的に過学習のリスクを抱える

• この記事を総合すると、明確な巨大先行企業が存在しない、より大きな競争が必要だという結論になる。潜在的に中規模以下の企業が複数あり、どこか一方に力が集中しなければ、より良い体験を提供するインセンティブが生まれ、悪意ある行為者にとっても標的が複数あるため難しくなる
  規制と市場競争の精神という観点では、数社の兆ドル級巨大企業よりも、合計価値が1,000億ドル以上の中堅ソフトウェア企業群を作る方向にインセンティブを与えるべきだと思う
  ハードウェアは規模の経済の面で少し異なるので同じ論旨に含めたいわけではないが、そこにも何かあるかもしれない

  • 市場競争が消費者にとって良く、企業に経済価値を生む創造的な解決策を見つけさせる、というのはおおむね合意された考えだ。しかし常にそうとは限らない
    Rockefellerは反トラスト訴訟が始まる前には約90%の市場シェアを持っていたが、判決が出るころにはすでにシェアは低下していた。1つの主体が90%を握っていても、市場は最終的にその規模を縮小できることを示している
    同時にRockefellerは社会に画期的なイノベーションももたらした。初期に資本が彼に集中したのは、社会を前進させるために使われたという点で良いことであり、後に資本が自然に流出したのも、他の場所で必要だったため良いことだった
    今日の超巨大企業への中央集権化は複数の要因の影響を受けており、規模の経済もその1つだが、知的財産権法も大きい。実際、知的財産権は不要だと思う
    ほとんどの規制は規制対象の企業が作成しており、競争を阻む役割を果たしていると推測する。また、中央集権化はWWI/WWIIのとき、政府が自動車ではなく戦車を作れと少数の人々に命じるほうが都合よかったため本格化し、米国政府の戦略目標でもあったのだと思う
  • 一言でまとめると、単一文化はよくない
  • 時価総額ベースでTwitterはFacebookより20〜30倍価値が低い点も参考になる
  • これはソフトウェアだけでなく、あらゆる市場に当てはまる。規制には、大企業を抑制するよりも有利にする規制の虜の要素が大きい
    ソフトウェアとオンラインサービスは規制を回避する方法があまりにも多く、特に悪かった。AppleのEUに対する悪意ある形式的遵守は露骨な例であり、FacebookがWhatsApp買収の承認を得るために、チャットとソーシャルメディアは別市場だと説得した例はより微妙だ
    理想的には、独占の濫用だけを防ぐのではなく、独占そのものを防ぐ方向であるべきだ: https://pietersz.co.uk/2009/11/fix-capitalism

• 簡単に直せる。Amazonに自社プラットフォーム上のすべての販売について保証責任を負わせればよい
  Amazonは、自分たちは販売者ではなく、プラットフォームに広告を出している匿名の当事者が販売者だと主張している。この問題ではPennsylvaniaで訴訟があり、Amazonが大敗する可能性が高まると、判例を避けるために和解した
  広告の側では、第三者のために広告を掲載する者は誰であれ、要求があれば広告主の実名と住所を提示できなければならず、できなければ広告内容について責任を負うべきだ。企業に匿名でいる権利はない。EUとCaliforniaにはすでにそのような法律がある
  詐欺が問題なのは、主要プラットフォームがそれを支援しても免責されるからであって、難しいからではない

  • 「顧客確認（KYC）をするか、責任を負え」という解決策だね。興味深い
    広告主にはお金を受け取る必要があるのだから、すでにそうなっていないというのは少し驚きだ。ただ、広告を出すのがより難しくなって小規模事業者が損をする可能性はあるが、顧客を欺くことも問題だ
  • これは実質的に、詐欺師のための規制の虜になり得る。詐欺師たちは身元詐欺サービスを集めたフォーラムで顧客確認の問題を解決するだろう
    大規模プラットフォームは検証コストなど気にも留めず、詐欺師は計画が崩れればまた繰り返せばよい
    まともな事業者には、また一つ厄介事が増えるだけだ。特殊なケースでは、ユーザーが終わりのない官僚的な宙ぶらりん状態に陥ることもある。人間によるサポートがあったとしても、「ご提供いただいた書類では本人確認ができません。これは2026年オンラインプラットフォーム安全法に基づく遵守要件です」のような無意味な文句を繰り返すだけだろう
    その間も詐欺師たちは、顧客確認済みアカウントを作り続けるだろう。プラットフォームは新たな規制遵守だけを気にするようになり、この手続きは安全とは無関係になる。Amazonは相変わらず販売ごとに手数料を稼ぎ、大手プラットフォームは遵守要件を競合の参入障壁として享受するだろう
    いずれすべての個人情報が流出する日も来るだろう。侵害事故が誰の目にも明らかになり、これもまた詐欺師には存在しない厄介事だ
    「政府をもっと使えば簡単に直せる」という記事を見るたびに1ドルもらえていたら、VCファンドを作れたはずだ。人間とインセンティブを扱うとき、物事は決してそんなに単純ではない。人間社会は、バグをなくすためにパッチを当てられるコードベースではない
  • Amazonが判例を避けるために和解したのなら、それこそが本当の問題かもしれない。どこかの時点で、社会全体にとっての判例の価値のために、裁判所は和解を止めるべきだ
  • これは法体系の問題のように見える。相手を長く高額な訴訟手続きに追い込み、相手が諦めるか資源が尽きるのを望み、形勢が不利になった瞬間に訴訟をやめても自分は何のリスクも負わない、ということだからだ

• この記事には掘り下げるべき点が多いが、核心は巨大さの神話と、小さいことは美しいという点だ
  Big Techが自分たち独自の強力な神話を作って成功するのは驚くことではない。巨大組織も国民国家も、唯一無二の能力、無謬性、例外性の神話を作る
  同時に、規模が非効率、腐敗、鈍さ、無感覚をもたらすことは言うまでもない。巨大独占を維持する保護主義的措置がなければ、真の競争条件の下で粉々になっていただろう

  • 記事には「myth」や「beautiful」という単語は見当たらず、Luuはもっとバランスよく述べている
    規模の経済がユーザーに利益をもたらす仕組みは容易に思い浮かぶが、だからといって、あらゆる領域で規模の経済が規模の不経済を上回ると仮定してはいけない、ということだ
    会社が大きくなるときに良くなることと悪くなることの両方を見るべきで、一部が良くなるからといってすべてが良くなると仮定したり、その逆を仮定したりしてはいけない

• Amazonが明らかに偽物のSDカードやフラッシュストレージを売っているのは理解しがたい。識別も非常に簡単で、偽ストレージはユーザーのデータを消し飛ばすので、真剣に扱うべきだと思う
  https://a.co/d/auXcxrZは1TBを29ドルで売りながら「overall pick」として掲げている

  • ソリッドステートストレージは、実店舗の大型量販店でしか買わない
    メーカーから店舗の棚まで管理の連続性があり、出どころがはっきりしているからだ
    Amazonのような場所では、複数の販売者の「同一」の商品を一つの大きな販売在庫箱に混ぜて入れている
  • AmazonとEbayの商品をサンプル調査して販売者マルウェアを調べた仕事を監督したことがあるが、怪しい商品の割合は衝撃的に高かった
    彼らがその流れを止められるとは思えない
  • 実際にはそれほどの容量をまったく必要としないユーザーたちのおかげで、損失の多くを回収できそうだ
    私の周囲の非技術系ユーザーは、何でも1TBが必要だと言い張る。一人は、ただ1TBの容量を持つためだけにiPad Proを買った。以前のiPadを8年間使って64GBほどを使い切り、二度と容量不足になりたくなかったからだ