少し前に Hacker News で大きな話題になったテーマがあります。
古典的な ML で AI Slop Text を判別するのが、思った以上に効果的だというブログ記事でした。
https://news.ycombinator.com/item?id=48936880
https://blog.lyc8503.net/en/post/llm-classifier/
すでに多く議論されてきたアプローチではありますが、今でも有効かつ効率的だという点が魅力だったので、韓国語版も作ってみました。
- 文単位に分割し、char/word n-gram TF-IDF + 線形 SVM アンサンブルで採点して、疑わしい文の比率で文書全体を判定します。
- 推論はすべて JavaScript なので、サーバー、API、GPU なしで静的ページだけで動きます。モデルは約 1.4MB で、貼り付けた文章はどこにも送信されません。
もちろん限界もはっきりあります。SVM のような古典的 ML を活用しているため、いかにも AI らしい文章はいくつか確実に検知できる一方で、曖昧な文章や学術的な文章では結果が判然としないこともあります。
この結果で AI と表示されたからといって必ずしも AI とは限りませんが、AI が作成した文章かを確認する用途には役立ちそうです。
1件のコメント
自分で書いた文章と比較してみたのですが、自分で直接書いたものは 0%、AIで作成して一部修正したものは 51%、AIだけで書いたものは 100% と、思ったよりうまく判定してくれますね (^_^)
ただのアイデアですが、Chrome ブラウザー拡張として https://github.com/mozilla/readability のような基準でコンテンツを識別し、判定結果を信号機のように表示してくれると、もっと便利そうです
（登録したページのドメインだけ自動で識別して、それ以外は翻訳機能のように手動で動作してもよさそうです）