コミュニティノートをどう思うかって？
(archive.md)- Community Notesはツイートに文脈情報を付け加えて誤情報を正すファクトチェックツールで、2021年1月にBirdwatchというパイロットとして初めて導入され、その後段階的に拡大
- 専門家集団ではなく誰でも作成・投票でき、どのノートを表示するかは全面的にオープンソースのアルゴリズムが決める仕組み
- 核心は単純平均ではなく、多様な観点のユーザーから同時に肯定的評価を受けるノートを優先する方式で、陣営を越えて合意されたノートが高得点を得る
- 左右の政治軸はハードコーディングされておらず、ユーザー・ノート分析から創発的に発見され、データとコードをダウンロードして結果を直接検証可能
- すべての虚偽ツイートを訂正することが目的ではなく、多数の観点の存在を思い出させる教育的ツールとして価値があり、「信頼できる中立性(credible neutrality)」という理想に近い
背景: Twitter Xの激変の中で成長した機能
- この2年間、Elon Muskによる440億ドルの買収以降、Twitterは人員、コンテンツモデレーション、ビジネスモデル全般にわたる大規模な変化を経験
- こうした論争的な変化のただ中で、ある新機能が急速に重要性を増し、政治的傾向を問わず高く評価された
- 買収時期と最も急激な拡大段階が重なった
- 大規模な聴衆に届くツイート、特に政治的に敏感な話題で頻繁に登場
- ノートが付くと有益で価値があるという評価が、さまざまな政治傾向の人々の間で共有される
- 「クリプトプロジェクト」ではないにもかかわらず、主流世界で**「クリプトの価値(crypto values)」**に最も近い事例と評価される
- 中央で選ばれた専門家ではなく誰でも作成・投票
- 表示されるかどうかはオープンソースのアルゴリズムが全面的に決定
Community Notesアルゴリズムの仕組み
-
一定基準(6か月以上の活動、最近のルール違反なし、電話番号認証)を満たすTwitterアカウントなら参加申請が可能
- 現在は無作為にゆっくり承認中で、最終的には基準を満たす全員を許可する計画
- 最初は既存ノートの評価のみ可能で、十分に良い評価を積むと自分でノート作成が可能になる
-
作成されたノートは他の参加者のレビューを基に点数が付く
- レビューは
HELPFUL、SOMEWHAT_HELPFUL、NOT_HELPFULの3段階評価に追加タグが付く形式 - 点数が0.40超ならノート表示、それ以外は非表示
- レビューは
-
点数計算の独創性
- 単純な合計・平均ではなく、異なる観点の人々から肯定的評価を受けたノートを明示的に優先
- ふだん評価が分かれる人々が特定のノートに同意すると、そのノートは特に高い点数になる
- ユーザー×ノート行列Mを作り、各セルMi,jはi番目のユーザーがj番目のノートをどう評価したかを表す
- ほとんどのユーザーはほとんどのノートを評価しないため行列の大半は0だが問題ない
- ユーザーには**「親和性(friendliness)」・「極性(polarity)」、ノートには「有益性(helpfulness)」・「極性(polarity)」**を与える4列モデルで行列を予測
- 単純な合計・平均ではなく、異なる観点の人々から肯定的評価を受けたノートを明示的に優先
-
変数の意味
- μはユーザー全体がどの程度高い評価を付けるかを反映する**「全体的な大衆ムード」**パラメータ
- iuは特定ユーザーが高い評価を付ける傾向(親和性)
- inは特定ノートが高く評価される傾向(有益性)で、最終的に関心の中心となる変数
- fu/fnは政治的分極化の支配的軸上での位置(極性)で、負はおおむね左寄り・正は右寄り
- ただし、左右という概念はハードコーディングではなく分析から創発的に発見される
-
核心アイデア
- 標準的なgradient descentで行列予測を最適化し、ノートに与えられた有益性が最終スコアになる
- 極性項は一部にだけ好まれる性質を吸収し、有益性項は誰にでも好まれる性質だけを測定
- そのため有益性の選定は陣営を越えた承認を識別し、一つの陣営だけが称賛するノートを排除する
-
核心の上に積み重ねられた追加メカニズム
- 無作為な極端「類似投票」を加えて複数回実行し、その範囲の下限信頼区間を0.32閾値と比較
- 似た極性のユーザー多数が同じタグ(「論争的・偏向的表現」「出典がノートを裏付けていない」など)で
Not Helpfulを付けると、掲載閾値が0.4から0.5へ上昇(実務上非常に大きい) - ノートが承認後に解除されるには、その有益性が承認閾値より0.01点低くならなければならない
- 複数モデルでさらに何度も実行し、元の点数が0.3〜0.4のノートが昇格することもある
- 結果として22個のファイルにまたがる6,282行の複雑なPythonコードになっており、すべて公開されていて自分で実行・検証できる
実際の動作
-
単純平均と区別するうえで最も重要な概念は極性(polarity)値で、掛け合わされる2項(fu, fn)なのでfactorのfを使っている
- 極性はユーザーにもノートにも付与され、ユーザーIDと実際のアカウントの対応は意図的に非公開、ノートは公開
- 英語データセットでは極性は左右の政治スペクトラムに非常に近く対応する
-
極性 -0.8 付近のノート例
- Lauren Boebertなどコロラド州の保守系議員が反トランスの言説を増幅したという内容(-0.800)
- Trumpが2020年大統領選前に米国人の選挙結果への信頼を明示的に損なったという内容(-0.825)
- 2020年大統領選は自由で公正に行われたという内容(-0.818)
- 上の3項目は任意選択ではなく、ローカル実行時に極性(
coreNoteFactor1)が-0.8未満だった最初の3行
-
極性 +0.8 付近のノート例
- 多くがポルトガル語のブラジル政治やTesla批判への反論だったため一部を選別
- 2021年時点で「黒人」の子どもの64%がひとり親家庭に暮らしているという内容(+0.809)
- 児童人身売買は現実に存在する大きな問題であり、Operation Underground Railroadが対応しているという内容(+0.840)
- 禁止されたLGBTQ+児童書はわいせつであり、憲法上の表現の自由では保護されないという内容(+0.806)
- 左右の分断はハードコーディングではなく創発的に発見されたので、他の文化圏に適用すればその社会の主な政治的分断も自動検出・接続できる可能性がある
-
有益性が最上位のノート
- 実際にTwitter上で表示され、直接キャプチャ可能
- 2番目の例は党派的な話題をより直接扱うが、明確で高品質・有益であるため高く評価される
- アルゴリズムが機能しており、コード実行で出力を検証する能力も機能しているように見える
アルゴリズムの評価
-
分析で最も印象的なのは複雑さで、学術論文版(5項ベクトル・行列方程式のgradient descent)と任意係数の多い実運用版が存在する
- 学術版でさえ内部に複雑さを隠している。fu∗fnの2次項と二乗誤差のコスト関数のため4次方程式になる
- 4次方程式は複数解を持ちうるため、gradient descentが毎回別の答えに到達する可能性がある
- 入力の小さな変化が局所最小値の間をひっくり返し、出力を大きく変えることがありうる
-
経済学者のアルゴリズム vs エンジニアのアルゴリズム
- quadratic fundingのような取り組みとの違いは、経済学者のアルゴリズムとエンジニアのアルゴリズムの区別のように感じられる
- 経済学者のアルゴリズム: 単純で分析しやすく、最適性を示す数学的性質や悪用被害の上限を証明でき、想定外の状況でも完全には崩壊しない
- エンジニアのアルゴリズム: 反復的な試行錯誤の産物で、実用的で仕事をこなす
- クリプトの「theorycel aesthetic」は、本当に信頼不要なプロトコルと、一見まともでも内部では中央集権的主体を信頼しなければならない、あるいは詐欺的な構造を見分けるために必要
- ディープラーニングは動くときは動くが敵対的機械学習攻撃に弱いため、Community Notesをより経済学者的アルゴリズムに近づけられるかが一つの論点
- quadratic fundingのような取り組みとの違いは、経済学者のアルゴリズムとエンジニアのアルゴリズムの区別のように感じられる
-
pairwise-bounded quadratic fundingの事例
- 一般的なquadratic fundingで、参加者2人だけの結託でも偽プロジェクトに資金プール全体を吸い出せる抜け穴を防ぐための設計
- 参加者ペアごとに上限予算Mを割り当て、A・Bが共同で支持したプロジェクト補助金は(A,B)ペア予算から差し引く
- k人が結託しても奪える最大額はk∗(k−1)∗Mに制限される
- ただしCommunity Notesではユーザーごとの投票が非常に少なく、2人のユーザーが共通に投票した履歴がほとんどないため、そのままでは適用できない
- 機械学習モデルの目的自体が疎なデータで行列を埋めることであり、少数の悪意ある投票で結果が不安定にならないよう追加の工夫が必要
-
Community Notesは実際に分極化を減らすのか
- ナイーブな投票でもある程度は分極化を緩和する(賛成200・反対100の投稿は賛成200のみの投稿より低くなる)
- 抽象的には判断が難しいため、簡略化した実装で100ラウンドを直接実行
- グループ1(良い): 0.300、グループ2(良いがより分極的): 0.217、グループ3(中立): 0.094、グループ4(悪い): -0.152
- 「良い」は同じ陣営 +2・反対陣営 +0、「良いがより分極的」は +4・-2 で平均は同じだが極性が異なる
- 実際に**「良い」ノートが「良いがより分極的」ノートより平均有益性が高く**出る
- 経済学者的アルゴリズムに近いほど、分極化ペナルティの原理説明がより明確になる利点がある
高リスク状況での有用性
-
約1か月前、Ian Bremmerが中国政府関係者のツイートに付いた批判的ノートが削除されたと問題提起
- Ethereumコミュニティの小規模実験と違い、数百万人に影響する政治・地政学の問題なので、誰もが最大限の悪意を前提にする
- Elonは中国に多くの事業上の利害関係を持つため、中央集権的な操作疑惑が持ち上がる余地がある
-
オープンソースで直接検証
- 元ツイートID
1676157337109946369でダウンロードデータから該当ノート行を探し、ノートID1676391378815709184を特定 scored_notes.tsv・note_status_history.tsvで検索した結果、現在の状態はNEEDS_MORE_RATINGS、以前はCURRENTLY_RATED_HELPFUL- アルゴリズムが先にノートを表示し、その後評価が下がったため削除したのであり、中央集権的介入は見当たらない
ratings-00000.tsvを時系列に並べて最初の50票を見るとHELPFUL40票・NOT_HELPFUL9票- 初期の聴衆の方が後期の聴衆より好意的だったため、評価は最初高く、後で低下した
- 状態変化の経緯は単純な閾値通過ではなく、多数の
NOT_HELPFULが外れ値(outlier)条件を発動させ、必要な有益性スコアを引き上げた結果- 信頼できる中立アルゴリズムが本当に信頼されるためには単純さを保つ必要があり、状態変化には単純で明快な説明が必要
- 元ツイートID
-
brigadingへの脆弱性
- ノートを嫌う人が参加度の高いコミュニティや多数の偽アカウントを動員して
NOT_HELPFULを集中させるbrigadingの可能性- ノートを「有益」から「分極的」へ落とすのに、それほど多くの票が要らないかもしれない
- 改善案として、誰でも任意のノートに投票できないようにし、「For you」フィードでノートをランダム割り当てして、割り当てられたノートのみ評価させる方式を提案
- ノートを嫌う人が参加度の高いコミュニティや多数の偽アカウントを動員して
-
Community Notesは十分に「勇敢」でないのか
- 主な批判は十分にやっていないことであり、最近の2本の記事がこの点を指摘
- ノートが公開されるには政治スペクトラム全体のイデオロギー的合意が必要で、ますます党派化する環境では「真実に関する超党派的合意」はほぼ不可能
- それでも不公正なノート1件より虚偽ツイート10件を見逃す方がよいという立場
- 「私たちは真実を知っており、一方がより頻繁に嘘をつく」という勇敢なファクトチェックは、結局ファクトチェックそのものへの広範な不信を生む
- 誰もがある程度尊重する超陣営的機関を築くことに価値があり、William Blackstoneの格言のように、作為より不作為の罪を多く犯すシステムでなければ尊重を維持できない
- すべて、あるいは大半の虚偽ツイートに訂正ノートが付くことが目標ではない
- 虚偽ツイートの1%未満しかノートを受けなくても、教育的ツールとして非常に価値あるサービスになりうる
- 目標は多数の観点の存在を思い出させ、説得力がありそうな投稿でも間違っている可能性があり、自分で検索して確認できることを気づかせること
- 公共認識論のあらゆる問題を解く万能薬ではなく、prediction marketsや専門人材を持つ組織など、他のメカニズムが隙間を埋める余地がある
- 主な批判は十分にやっていないことであり、最近の2本の記事がこの点を指摘
結論
- Community Notesは興味深いソーシャルメディア実験であり、分極化を見極め、分断をつなぐことを優先する新しいメカニズムデザインの一例
- 同じカテゴリの他の例として、Gitcoin Grantsで使われるpairwise quadratic funding、そしてクラスタリングで幅広く支持される発言を見つける討論ツールPolisがある
- この分野の学術研究がさらに増えることを期待
- Community Notesのアルゴリズム透明性は、完全に分散化されたソーシャルメディアではないため、アルゴリズムに同意しなくても別のアルゴリズムで同じコンテンツを見る方法はない
- ただし、今後数年で超大規模アプリケーションが到達しうる最も近い形ではあり、中央集権的操作の防止と、操作しないプラットフォームが正当に評価されるようにするという両面で、すでに大きな価値を提供している
1件のコメント
Hacker News の意見
興味深い記事。Community Notes は、見たところ数学的にかなり堅牢なモデルの上に作られているように思う
従来の賛成／反対投票システムより、偏った集団行動にはずっと弱くなさそうだが、そうした行動に完全に免疫があるわけではないだろう。「偏り」は見る人の観点によって変わるので、どんなコンテンツ評価システムにも完全な無偏りを期待するのは現実的ではない
Community Notes と暗号資産には、「複雑な数学のおかげで非常に強力だが、95%の人には完全に不透明」という共通点がある。ただし、記事でそのつながりに割かれている分量に比べると、関係はかなり弱いように見える。Vitalik は暗号資産ブログを書いている人なので読者層に合わせたのだろうが、それでも良い記事だった
Community Notes は本当に気に入っている。ブラジルではしばらく前から、いつも嘘をついたり歴史を書き換えようとしたりする政治家の投稿を確認するのに使われている
投稿に付く小さなさらし札のような感じで、今のところ政治スペクトラム全体の政治家に適用されているようだ
「ディープラーニング対暗号資産は、rotator 対 wordcel の明確な区分だ。前者は theorycel の美意識に反するが、経験的にはばかげた奇跡を生み出す。後者は狂ったような nerd trap と天まで届く抽象化の梯子の連続だが、大半は詐欺だ」
このミームだらけの文を英語に翻訳してくれないか？
しかも Vitalik が投稿するにはかなり反暗号資産的な表現に見える
一般ユーザーが、どの暗号資産技術がこの分野に実質的な価値を加えるのか、どれがそうでないのかを魔法のように見分けられたなら、エコシステム全体はずっと健全だっただろう
その文の他の部分は、面白い自己風刺に近い。たとえばステーキングを動かすために Ethereum チームがはまり込んだ研究の沼や数学的抽象化を、本人も意識しているように思う
Ethereum があらゆる暗号資産取引所で上位に入っておらず、Vitalik もある程度知られた人物でなかったなら、平均的な暗号資産関心層が Ethereum の「狂った nerd trap と天まで届く抽象化の梯子」を詐欺と見分けるのは、どれほど難しかっただろうと思う
「前者は theorycel の美意識に反するが、経験的にはばかげた奇跡を生み出す」は、理論に深く入り込んだ人たちにはディープラーニングは動きそうに見えないが、とにかく優れた結果を出す、という意味
「後者は狂ったような nerd trap と天まで届く抽象化の梯子の連続だが、大半は詐欺だ」は、暗号資産には興味深い技術的難問が満ちているが、成果物の大半は詐欺だという意味
Shape rotator は頭の中で図形を回転できる人、つまり知能の代替指標のように使われる。数学や STEM の能力は高いが、その価値が認められていないと感じている人のこと
Wordcel は言葉やレトリックに長けているが、その能力が十分に認められていない、あるいは人生を大きく後押ししてくれないと感じている人のこと
Community Notes は Wikipedia と似た長所と短所をある程度持つ可能性が高い
Community Notes は、中央で選ばれた専門家集団が執筆したりキュレーションしたりするものではなく、誰でも書いて投票できる。完璧ではないが、信頼できる中立性という理想に驚くほど近い
これが楽観的な長所だとすれば、短所は、特定の人口集団がこうしたノート作成により引き寄せられたり、Twitter 自体を圧倒したりすると、Wikipedia の社会・文化系トピックで見られるような偏りの問題が起こり得る点だ。その結果が何であれ、「信頼できる中立性」ではないだろう
Community Notes は誰でもレビューして、有用／有用でないを示すことができる
自分が見た Community Notes のいくつかはかなり良かった。広告にも付けられる点が気に入っている
今 Twitter に出ている多くの広告に Community Notes が付いているが、広告ではあることを言っているのに、実際の製品はまったく別のことをするからだ
一方 Community Notes は適切な位置に付き、かなり情報量が多く、いくつかの場合には驚くほど詳細に見える
Community Notes は、この一連の中でX に生まれた唯一の良いものだ
ここのコメントでも誰かがほのめかしていたが、これは Slashdot のモデレーション方式をはるかに洗練させたものに非常によく似ている
あの方式は、私が最も好きだったサイトモデレーションの仕組みだった。何かにメタな判断や解説を付けることが当然の権利ではなく、特権のように感じられた
最大の問題は、「極性」を単一の軸として扱っていることだと思う。実際、多くのテーマはそのように並ぶが、そうではないテーマこそ重要だ
分散型モデレーションに向かう努力が見えるのは良いが、その夢を実現するには、まだあまりにも中央集権的すぎる
この記事は、左／右の二分法がハードコードされたものではなく「創発的に」現れたのだと読者を安心させようと繰り返し努めているが、肝心のそれが具体的にどう起きたのかについてはまったく詳しく踏み込んでいない
左／右の区別が現れたのは奇妙に感じる。信仰ベース／非信仰ベース、権威主義／自由主義のような区別ではなく、なぜよりによって左右だったのか。これが正しいか確認できる公開データはなく、ただ組織の言葉を信じるしかないのだろうか？
だから左右と言うとき、私たちは固定された価値観や根本的な価値そのものを指しているわけではない。すべてが動き続け、しばしば自己矛盾的な形でも変わる。だからこれらの用語は、社会の中で常に変化する断層を代理する言葉になる。この意味では、社会を公正にサンプリングすれば結局その用語に沿って分かれる、というのはほとんどトートロジーに近い
二大政党制があるなら、ほぼ予想できる結果だ。各政党はできるだけ多くの有権者とアラインしようとするので、共和党／民主党の区分がアラインメント空間を分ける「良い」切断面になることは十分に期待できる
基本的にアルゴリズムは、ユーザーがどんな内容に同意しそうかについて最も多くの情報を含む「最適な」極性軸を明示的に探し、二大政党制は政党政治の移動という創発的な性質として、そのような軸に沿って暗黙に整列する
http://politics.beasts.org/scripts/eigenvectors
今日、同じ質問や別の質問でこれを繰り返してみると面白いだろう
Twitter も現実世界の一部なので、ユーザーはすでに自分を左／右の部族に結び付けようとする傾向を持って入ってきた可能性があり、その後ソーシャルメディアのバブル形成メカニズムが分極化の過程を加速した可能性がある
ノートと評価データも毎日公開されている: https://twitter.com/i/communitynotes/download-data
自分でデータに行列分解コードを走らせ、結果として見つかる潜在次元を自分で解釈すればよい。そしてコードを読めば、実際には特定の左／右の区分をハードコードしているのではなく、行列分解を行っていることも確認できる
少し辛口に要約するとこうだ。たいていの人は Community Notes を好んでおり、Vitalik はその好感の一部を暗号資産にも得てほしいと思っている。暗号資産にはそうした好感が切実に不足しているので、両者に共通する哲学的または機能的な系譜があると主張しているのだ
私には筋が通らないし、死んだ牛を生きた牛につなごうとする試みのように見える。それでも彼自身のブログなのだから、好きにできる
私は完全な暗号資産懐疑派だが、暗号資産に少し触れた部分が記事の残りの価値を損なっているとは感じなかった
記事の大半は暗号資産とはまったく関係がない
二次資金配分もそれ自体として興味深く、実装に暗号資産を必ず使う必要はない
vitalik.ca のブログは概ね暗号資産とその隣接テーマを扱っており、それが Vitalik の研究開発で現在注力している点だ。彼は10年以上にわたって暗号資産について書いてきた
彼が自分のブログで Community Notes に関心を集めたいのだとすれば、主に考えたり書いたりする楽しさのためである可能性が高い。ただし、良い副作用として暗号資産開発者が Community Notes から、とりわけ暗号資産ネイティブなソーシャルネットワークを作る際にインスピレーションを得るなら、彼も嫌がりはしないだろう