AI-SLOP Detector — AIが作った「誇張された虚偽コード」を分析・検出するツール

(github.com/flamehaven01)

2 ポイント投稿者 flamehaven01 2026-01-09 | まだコメントはありません。 | WhatsAppで共有

このツールは個人的な失敗体験から始まりました。

数日前、私は自信満々で
「HRPO-X v1.0.1 – ハイブリッド推論最適化フレームワーク実装体」という
大仰な名前のリポジトリを公開しました。
最新の論文をもとにアーキテクチャを実装したと信じていたプロジェクトでした。

しかし公開直後についた最初の反応は、私の期待を粉々に打ち砕きました。

「念のため見に行ってみたけど、やっぱりですね。
幻覚(Hallucination)の塊でできた AI Slop リポジトリだ。」

最初は単なる悪意のあるコメントだと思いました。
しかしコードを再び開いて一つひとつ見直してみると、
その指摘は痛いほど正確でした。

問題は「意図」ではなく「密度」

そのプロジェクトは単なるデモではなく、
論文を プロダクションアーキテクチャへ移し替える過程 に関する研究成果でした。

アーキテクチャ設計あり
フォルダーツリー整理済み
設定ファイル(Config)あり
クラス定義とインターフェース完備
内部監査(audit)アルゴリズムも正常通過

見た目には完璧でした。
既存のリンター(Linter)や構造的完全性チェックもすべて通過していました。

しかし原因を掘り下げるうちに、
私は致命的な問題を発見しました。

「構造的完全性(Structural Integrity)は完璧だったが、
内容密度(Content Density)は 0 に収束していた。」

つまり、

外側(Shell)はもっともらしいのに
実際の実装ロジックは空っぽだったり(pass)
過度に飾り立てられたコメントばかりで埋め尽くされていました

私はこれが、
AI が生成したコードの典型的なゴミパターン、
すなわち「AI Slop」だと認めざるを得ませんでした。

そこで作ったツール: AI-SLOP Detector

そこで作ったのが AI-SLOP Detector です。

目的は単純です。

コードがどれだけうまく動くかではなく
コードと説明のあいだにどれだけ乖離があるかを
静的に観察すること

そのために次のような指標を使います。

何を検出するのか

README で定義した AI Slop パターンは大きく 3 つあります。

1. Empty Function Slop (空虚な関数)

説明は複雑なのに
実際の実装が pass レベルの関数

2. Buzzword Inflation (用語インフレ)

コードの複雑さとは無関係に
neural, transformer, quantum, enterprise のような用語が
過剰に使われているケース

3. Overhyped Comments (過剰包装されたコメント)

単純なロジックに
「革新的」「state-of-the-art」のような表現が繰り返されるコメント

分析方法（要約）

AI-SLOP Detector は Python AST をベースに、
複数の指標を並列に計算して Deficit Score (0–100) を算出します。

主要指標

LDR (Logic Density Ratio)

コード全体のうち実ロジックが占める割合
基準: 45% 未満なら CRITICAL(F) 等級

Inflation Score

ドキュメント・コメントのバズワード（見栄を張った誇張用語）密度に対するコード複雑度
基準: 2.0 倍以上なら CRITICAL

DDC (Dependency Density Check)

未使用の import
意味のない依存関係の比率

Pattern Registry

empty function
bare except
TODO / FIXME の乱用
AI 生成コード特有の多数のパターン検出

これらの値を総合して次の状態に分類します。

CLEAN
SUSPICIOUS
INFLATED
CRITICAL

プロジェクトの状態

Python 3.8+
CLI および Python API を提供
テスト 34 件通過
最新バージョン: v2.5.0 (2026-01-09)

誰のためのツールか

ノーコード / ローコードツールを使う人
AI 生成コードをレビューしなければならない立場の開発者
「もっともらしく見えるが、どこか気持ち悪いリポジトリ」によく出会う人

そうした人たちに
「このコードがなぜおかしく見えるのか」を説明できるシグナル を
提供することが目的です。

最後に

上で触れた HRPO-X v1.0.1 は全面的なリファクタリングを経て、
現在は 教育用バージョンとして現実的に再整備 しました。

この記事とツールが
似た悩みを抱えている方々に
少しでも役立てば幸いです。

すべての開発者を応援しています！