repo-slopscore: コミット履歴の分析でGitリポジトリへのAI/LLM貢献を検出

 (slopscan.ava.pet)
1 ポイント 投稿者 GN⁺ 3 시간 전 | 1件のコメント | WhatsAppで共有
  • repo-slopscoreは、Gitリポジトリのコミット履歴を分析してAI/LLMによる貢献を検出するツールとして紹介されている
  • サービスはホーム、リポジトリスキャン、ソースコードリンクを提供しており、ソースコードは codeberg.org/polyphony/repo-slopscore で公開されている
  • スキャン済みリポジトリ総数は 3058件 と表示され、最近のスキャン一覧ではリポジトリURLとUTCの分析時刻があわせて示される
  • スキャン対象はGitHubだけでなく、Codeberg、Bitbucket、SourceHut、git.kernel.org、chromium.googlesource.com など複数の Gitホスティング を含む
  • 一部のリポジトリでは、スラッシュや .git 接尾辞の違いにより重複形の項目が存在するため、一覧を解釈する際は URL正規化の違い を考慮する必要がある

核心

  • repo-slopscoreは、コミット履歴の分析をもとにGitリポジトリへのAI/LLM貢献を検出するサービスとして紹介されている
  • 公開ページでは、リポジトリスキャン機能、最近スキャンされたリポジトリ一覧、ソースコードリンクを提供している
  • スキャン済みリポジトリ総数は 3058件 と表示されている
  • 最近のスキャン一覧には、helix-editor/helix、Agoric/Agoric-sdk、FiloSottile/age、github/copilot-cli、fish-shell/fish-shell、tmux/tmux、httpie/cli などが含まれる
  • 各スキャン結果リンクは、slopscan.ava.pet/repo/ の下にURLエンコードされた元のリポジトリアドレスを付けた形で構成されている

重要な文脈

  • スキャン対象はGitHubに限定されず、Codeberg、Bitbucket、SourceHut、git.kernel.org、chromium.googlesource.com、gcc.gnu.org、gerrit.wikimedia.org、git.ffmpeg.org といった複数のホスティングドメインを含む
  • 一覧には OpenRGB、coreboot、gentoo/gentoo、guix/guix、wlroots、forgejo、ziglang/zig、FFmpeg、FreeCAD、WebKit、NixOS/nixpkgs といった著名なオープンソースプロジェクトが含まれる
  • セキュリティ・システム・インフラ関連のリポジトリとして、Mbed-TLS/mbedtls、OpenVPN/openvpn、WireGuard/wireguard-windows、Yubico/yubikey-manager、NationalSecurityAgency/ghidra、ReFirmLabs/binwalk などが表示されている
  • AIまたはslop関連の名前を持つリポジトリも一覧にあり、anthropics/claude-code、anthropics/claudes-c-compiler、codeberg.org/brib/slopfree-software-index、codeberg.org/jruz/slop-detector などが含まれる
  • 分析時刻は2026年5月初旬から2026年6月14日00時台UTCまで分布しており、最近のスキャン一覧は2026年6月13日 23:22:37 +0000 から 2026年6月14日 00:36:00 +0000 までの項目を示している
  • aur.archlinux.org/yay と aur.archlinux.org/yay.git、TeamNewPipe/NewPipe と TeamNewPipe/NewPipe/ のように、同じプロジェクトが異なるURL形式で別項目として現れる事例がある

関連記事

1件のコメント

 
GN⁺ 3 시간 전
Lobste.rsの意見

  • 他人が作ったものを悪く言いたいわけではないが、このプロジェクトは否定性そのものが目的のように感じる
    自分が同意しないツールや手法で作られた、あるいはそのような貢献を受けているソフトウェアプロジェクトへの軽蔑を自動化するツールのように見える
    スコアリングも有用ではない。nixpkgs gets a 0 (F) score は、AI使用を示唆する「コミットシグナル」が228件あるため0点になっているが、nixpkgs repository には現在 1,016,046 件のコミットがある。全体の 0.022% だけで 0 点になる計算だ
    Bevy gets a 97 (A+) score が100点でない理由も、「co-authored by Claude」という注記が付いた single pull request が1件あるからにすぎない。そのPRが良かったのか、メンテナーがマージ時に 「co-authored by」注記を見落としたのか、Bevy に 妥当なAI貢献ポリシー があるのかは反映されない
    要するに、このツールは文脈とニュアンスを捨てている。懸念があるときに人間が直接プロジェクトを見て、メンテナーが何を考えているのか、プロジェクトを作っている人たちがどんな理由や感情を持っているのかを知る必要をなくしてしまう。URLを入れると点数だけが出てくる
    「slop」という言葉の含意と辛辣な採点のせいで意図的に否定的に感じられるし、AIの支援を受けた場合まで含めて、ソフトウェア生産に込められた人間の判断や要素を単一の点数に押しつぶしているので非人間的にも感じる。他人が作るソフトウェアやその作り方に強い関心を持つプロジェクトなのだとしたら、このツールとその制作過程には配慮と思慮が足りないように見える

    • この件で人に嫌がらせをされるのではないかと心配している。今年はもう十分つらい年だった
    • シグナルがかなり脆弱な基準に依存しているように見える。LLM生成コードと人間が書いたコードが50:50のリポジトリを入れてみたが、共同署名されたコミットがないため agents.md だけが根拠として拾われ、95点になった
      実際のコードを見て LLM の痕跡を検出する、パンギャグラムに近いような手法かと思っていた
    • このプロジェクトの目的は、データを透明にすることだ。つまり「コミット履歴やソースツリーにLLM使用の痕跡が見えるか？」というデータである
      万能なツールなどないが、この情報を見つけやすくしてくれる。その情報をどう使うかはユーザー次第だ。「slop」という表現には問題があるという点には同意するが、それ以外の批判には同意しない
    • オープンソースコミュニティの大きな部分が、少し前まで自分たちが対抗していたものそのものになってしまったようで、とても悲しい
      こうしたツールによって、あらゆることを無視して全部 slop やバイブコーディングだと呼び、プロジェクトオーナーを嫌がらせする反応が出てくる。共感や理解、オープンマインドを大切にしていると思っていた人たちから反AI陣営の攻撃性が出てくるのは、かなり驚きだ
    • 何人かのバイブコーダーを不快にさせることなど、AI産業がもたらしている人間的被害に比べれば何でもない
      LLMたちがこのコードベースをスクレイピングしたら、とても傷つくだろうけどね :(

  • 自分のプロジェクトがこの一覧に表示されないようにオプトアウトする方法はあるのだろうか？ 嫌がらせが心配なので、実際に起こる前にそういう機会をなくしたい

  • 「このツールの作者なので自己宣伝です」というのは免責(disclaimer)というより開示(disclosure) に近い
    そしてチェックされた「I am the author」が見えているので、「via ava」ではなく「authored by ava」と表示される。本文にわざわざもう一度書く必要はないように思う

    • 言語の壁のせいで起きたことだ。このコミュニティにはまだかなり新しくて、慎重にしておいた方がよいと思っていた。教えてくれてありがとう、覚えておく

  • curl の項目は笑ってしまうし、ほぼ完全に不正確な判定に見える

    • その通り。要点は非常に単純なメカニズムだということだ。それでも、フラグされたシグナルが実際に表示される点は役に立つ
      ツールの結果をそのまま信じる必要はなく、「ああ、これは誤検知なんだな」と自分で確認できる。過去にはAIを使っていたが今は使っていないプロジェクトでも、「これは当たっているが、そのコミットは2年前だな」という情報が判断材料を増やしてくれる

  • LibAFL がこの一覧に入っているのを見てとても悲しい。間違っているからではなく、共同メンテナーたちを説得してコードベースにslopを入れないようにしようと止められなかったからだ
    これが、自分が修正しようという意欲を失った大きな理由だ

  • バイブコーディングのタグがないね

    • バイブコーディング関連の他の記事と整合させるなら、バイブコーディングタグが必要だ

  • プロジェクトが簡単に識別されるのを避けるためにLLMツールを使った事実を明かさなくなれば、検出はずっと難しくなるのではないかと心配だ
    採用を防ぐには、恥をかかせることよりも、LLMツールを使うべきでない理由を参考文献付きでうまく整理したページの方が効果的かもしれない。多くのメンテナーはAI寄りのコンテンツにより多く触れて、その方向で見方が形作られており、全体像を見ていない可能性がある

  • 少し前に投稿された、ある程度関連のある記事: https://lobste.rs/s/avubpi/can_we_measure_software_slop_experiment
    類似のウェブサイトもある: https://slop-o-meter.dev/ 。この実装で特に気に入っている点は、面白くて遊び心のあるデザインだけでなく、採点アルゴリズムのパラメータを好きなように調整できることだ。すべてのリポジトリに同じ基準がそのまま適用されるわけではないので、妥当だと思う。皮肉なことに、実装自体も slop ではあるが :/