OpenAI、自社のAI検出ツールをひっそり終了
(decrypt.co)- AI Classifierは、ChatGPTのような生成AIで作成されたテキストを識別するためにリリースされたツールで、約半年で精度の低さを理由に運用停止となった
- 終了の事実は別途告知されたのではなく、同ツールを最初に紹介したブログ記事に追加されたメモでのみ知らされ、分類器へのリンクもすでにアクセスできなくなっている
- リリース当時もOpenAIはこの分類器を**「完全には信頼できない」**と述べており、AIが書いたテキストの26%しか識別できず、人間の文章の9%をAIによるものと誤分類していた
- 1,000文字未満のテキストで信頼性が低下すること、人間の文章の誤分類、学習データ外での性能低下などの限界があった
- 学生がChatGPTでエッセイを書くことを懸念した教育界が特に関心を示していた分野であり、AIテキスト分類器の限界と影響を認識することが重要である
AI Classifierの終了
- AI Classifierが先週、「精度の低さ（low rate of accuracy）」を理由にひっそり運用停止
- 別途新たに告知されたのではなく、同ツールを最初に発表したブログ記事に追加されたメモでのみ説明
- OpenAIの分類器につながっていたリンクもすでに提供されていない
リリースの背景と当初の性能
- 1月にOpenAIが、ChatGPTのような生成AIで作られたコンテンツかどうかを検出するツールとして発表
- 人間が書いたテキストとAIが書いたテキストを区別できると主張してリリースしたが、当時も**「完全には信頼できない」**と明記
- 英語テキストの**「challenge set」**評価結果の数値を公開
- AIが書いたテキストの**26%**を「AI作成の可能性が高い」と正しく識別
- 人間が書いたテキストの**9%**をAI作成と誤分類
AI Classifierの限界
- 1,000文字未満のテキストでは信頼性が低い
- 人間が書いた文章をAI作成と誤って分類
- ニューラルネットワークベースの分類器は、学習データから外れた領域で性能が低い
OpenAIの今後の方向性
- フィードバックを反映する作業を進めており、テキストに対するより効果的な出所（provenance）手法を研究中
- 音声・動画コンテンツがAI生成かどうかをユーザーが把握できるメカニズムの開発・提供を約束
教育界とAI検出ニーズ
- 11月のChatGPTリリース以降、学生によるエッセイ作成での悪用について教育者が懸念を表明
- AIテキストの識別が教育者の間で重要な議論テーマだったことを認めつつ、教室でAI生成テキスト分類器の限界と影響を認識することも同じく重要だと強調
- ますます高度化するAIツールがほぼ毎日登場し、**AI検出器産業（cottage industry）**が形成
- Decryptのコメント要請にはまだ回答なし
1件のコメント
Hacker News のコメント
そうしたのはよかったが、当然ながら告知はすべきだった
数文の文章を見ただけで、AIが書いたものかどうか判定できると信じている人が、このエコシステムにあまりにも多いことに驚く。さらに馬鹿げているのは、権限を持つ人たちが、実際には保証できない「AI作成 vs 人間作成」ツールの判定を信じて行動している点だ
この件が、ある文字列がLLMの出力かどうかは単純には判別できないという、もう一つの事例になればいいと思う
こうしたモデルは、パラメータが厳密に秘密に保たれ、絶対に漏えいしない場合でない限り、最初から失敗する運命にある。秘密だとしても、アクセス権を持つ人だけが騙せて、それ以外の人は騙せないという意味なので、結局相手側も自分たちのモデルを作る動機が生まれ、終わりのない軍拡競争になる
本当の答えは、人間が書いたかAIが書いたかに関係なく、良いコンテンツを自動で判別する、より優れたツールが必要だという方向であるべきだ。それが可能になれば大いに役立つし、たとえ競争になっても、互いにより質の高いコンテンツを作るために競争することになる
「検出器」が持つ情報は極めて少なく、まだ合理的な基準と言えるのは文体のようなものくらいだ。ChatGPTには特有の文体があるにはあるが、それは決して唯一の文体ではなく、性能が上がるほど、定義上、より多様な文体でうまく書けるようになる
問題が人々の誤用にあるなら、そのツールが人々の必要とする用途に合うよう設計されていないということに近い。たとえば文が少なすぎるときの誤用が問題なら、最低文数のような条件を入れて最低限の信頼度を確保すればよい
意味の見せ方も同じだ。人々が統計や数学を理解していないなら、円やコインのような視覚的な方法で意味を示せばいい。選択肢をなくすのは良いことではないように思うし、とくに冷笑的に、人々をそれに値しない存在であるかのように判断して取り除くのは筋が通らない
Foundation AI Models Need Detection Mechanisms as a Condition of Release [pdf]
よいことだ。信頼できないなら、偽の安心感を与える分、存在すること自体がむしろ害になる
似た例として、私が働いていた近所のピザ配達店では、配達員が箱をいじったりつまみ食いしたりできないよう、安全シールで箱を封印していた。ところが物流上の理由で、ときどきそれを忘れた。シールのない箱は、客がペパロニを盗まれたのではないかと心配して全部返品されるようになり、ほどなくその制度は中止された
アスピリンの瓶に改ざん防止シールを付け忘れたからといって、製造中に誰かが瓶を封印しなかったのでシールを全部なくそう、とはしないのと似ている
このツールは学界で大量の虚偽の告発を助長してきた。妻は博士課程にいるが、教授たちが学生にChatGPTを使ったと誤って決めつける話をよく聞かせてくれる
最近聞いた話では、教師たちは宿題を Google Docs で提出させ、変更履歴を見て文章全体を自分で書いたのか、それとも完成済みのエッセイを貼り付けて手直ししただけなのかを確認しているらしい。
もちろん賢い学生なら、GPT の出力を Google Docs にストリーミングする方法を簡単に見つけるだろう。途中であちこち動き回りながら「修正」しているように見せることもできる。
賢くて非倫理的な学生は、どんな障害を置いてもほとんど検出できない。これは賢くない学生だけを防ぐものだ。
誰でも ChatGPT が作った文章を Google Docs にゆっくり入力するエージェントを作れる。Google もその文書が人間によって入力された可能性を判断できるだろうが、OpenAI がこのツールを停止したのと同じ理由で、そうはしないだろう。
誰かがこのニュースかこのスレッドを見て、そういうエディタや評価器を作るだろう。もう一つの解決策は、文章を書いている間に画面録画をすることだ。最良の解決策であり、教育者にとって最も難しい解決策は、ロボットがほとんどの人間よりうまく書けるものを求めたり採点したりしないことだ。
ただし、あまり良くはない。自宅で行うプロジェクトは別の能力セットを評価するし、ある人はこちらのほうが得意で、別の人はあちらのほうが得意だ。それでも現実は現実だ。
学生が30人以上いれば、教師が変更履歴を一つ一つ確認する可能性は低い。
「半年後、そのツールは死んだ。設計目的を果たせなかったからだ」という結論は、画像検出器をテストしていて自分もまったく同じように下した。
現在の自動検出はあまり信頼できない。95% の精度をうたう Optic の AI or Not を、自分の画像数枚で試してみた。AI コンテンツを含む画像は AI 生成だと正しく表示したが、私が作ったストック写真の合成物の約 50% も AI 生成だと表示した。
生成 AI が動く標的でなかったなら、こうしたツールは進化して非常に信頼できるものになると楽観していただろう。だが現実はそうではなく、これがいつか信頼できる解決策になるのかは疑わしい。
私の AI アートの記事からの内容: https://www.mindprison.cc/p/ai-art-challenges-meaning-in-a-w...
私の経験では、ChatGPT の応答が ZeroGPT のようなツールで AI 生成と分類された場合、プロンプトを少し変えて、AI が書いたように聞こえないよう指示するだけで、非常に高い確率で検出を回避できた。
さらに、有名作家の文体で応答を作るよう指示すると、ほとんどの AI 検出モデルで 100% 人間執筆 と出ることも多かった。
最近のアップデートで ChatGPT のトーンが大きく変わり、今では検出レーダーに引っかからないようだ。
よいことだ。AI 出力に ウォーターマーク を入れるのも行き止まりだと思う。むしろ、すべてのコンテンツは別途証明されるまでは偽物だと仮定するほうがよい。
信頼できる写真が必要なら、撮影した瞬間にハードウェアレベルで画像に暗号学的署名を付ける方式のほうがよさそうだ。AI コンテンツに自発的にウォーターマークを入れるのはまったく無意味だ。
私は SEO 業界にいて、何人かの「大物」と話したことがあるが、Google AI アップデート が準備中だと信じていた。今の状態なら、近い将来に検索結果は AI コンテンツに完全に侵食されるだろう。
長期的には愚かな手だと思うが、長文では ChatGPT や他のモデルをかなりうまく検出する AI 分類検出器が現在存在する。Originality.ai が代表例だ。
方式はかなり単純だ。ChatGPT、GPT-4、LLaMA のような主要モデルから膨大な例を生成し、それから分類モデルを作るというものだ。
この戦略の明白な弱点は、ファインチューニング が文体の出力を変える点だ。同じ「大物」は、独自のファインチューニング方法で Originality.ai の検出器を回避することに成功したと言っており、その過程には数か月のテストと数千ドルがかかったという。
現在の Google の状態は惨憺たるものだ。どの記事も100段落あり、探している答えはアルゴリズムを満たすために滞在時間とスクロールを増やすよう、真ん中あたりに埋め込まれている。
Google がこうしたスパムサイトをすべて沈めてくれるのを待っている。
ここにある多くの投稿は、人間が生成したテキストと AI が生成したテキストを実質的に分類することは不可能になると見ているようだ。そうした試みは、終わりのないいたちごっこの中でさまざまな形で無力化され得るからだ。
それを受け入れるなら、私が予想する課題はこうだ。
私たちは AI 革命の本当に入り口にいるにすぎず、今後 LLM がさらに精緻で強力になるには、高品質な人間生成または人間選別の 学習データ が必要になる。その規模は、手作業で選別・精製・品質検査するのが難しい可能性が高い。
そして今後、あらゆる媒体が AI 生成コンテンツで爆撃され、スパム化されることに疑いはない。
では、将来の LLM を訓練し、その潜在力を引き出すために、実データと AI 生成ノイズをどうやって選り分ければよいのだろうか。
しばらくこの問題がずっと気になっていて、よりよい表現がないため、以前これを仮に データ汚染 と呼んだことがある。別の見方が気になる。
デジタルプラットフォーム上でAIが質問に答えるのを防ぐ唯一の方法は、学生がある機関に在籍している間に蓄積されたタイピングスタイルで機械学習データベースを作ることだけ
その承認を得るのは大変だろう。学科は成績や人口統計データにアクセスするだけでも、運営グループが3段階の委員会手続きを経なければならない
¯_(ツ)_/¯ となると紙を使うしかない。OCRをまた鍛え直す時が来た
ただし、実際のタイピングスタイルのデータをより多く持っているのは、Google、Microsoft、Meta、そして文書・メール・メッセージングSaaSを運営するすべての企業だ。多くの学生はGoogle DocsやWordのような場所でエッセイを書き、添付ファイルとして提出するか、テキストボックスにコピー＆ペーストすると思われる