新しいChatGPTモデルはテキストにウォーターマークを残すように見える
(rumidocs.com)- RumiでGPT-o3、o4-miniモデルについてテストした結果、
長い回答（例: エッセイ作成など）で特殊文字のウォーターマークが挿入されることを発見したという。 - このウォーターマークは**"Narrow No-Break Space (U+202F)"**のようなUnicodeの特殊空白文字で作られている。
- 通常の目ではまったく見えないが、Sublime Text、VS Codeのようなコードエディタや特殊文字ビューアで見ると確認できる。
- コピー&ペーストでもこのウォーターマークは残る（例: Google Docsにコピペしても残る）。
- ただし、ウォーターマークは簡単なfind-and-replaceで削除可能なため、完全な防御策ではない。
- OpenAIは公式にはこのウォーターマーク機能を発表していない。（ひそかにテスト中と推定される）
- GPT-4oモデルではこのようなウォーターマークは観測されなかったと報告されている。
追加で
- ウォーターマークは**長いテキスト（特に課題やレポート形式の文章）**にのみ挿入される傾向があり、
- 短い会話や一般的な質問応答ではほとんど挿入されない。
要約一行
"一部の最新モデルは特殊文字によるウォーターマーキングを始めたが、検出と削除が容易なため完全ではない。"
6件のコメント
[更新] OpenAIがLumiに公式に回答
OpenAIはこの投稿について私たちに連絡し、その特殊な文字はウォーターマークではないと伝えました。OpenAIによれば、これは単なる「大規模強化学習の特異点」です。しかし、将来の読者がChatGPT o3/o4の応答におけるこうした特殊な（そして潜在的に望ましくない）文字の問題を引き続き確認できるよう、私たちはこの投稿を残しておきます。
今回のo3はハルシネーションがかなりひどいという問題がありましたよね。
そのうちの一つではないかと思っていましたが、直接連絡したのは面白いですね。
AI生成データを学習データとして使わないようにするためではないでしょうか（model collapse）。
ウォーターマークではなく、バグではないでしょうか？ テストだと考えても、現在議論されている LLM のウォーターマーク技術に比べると、あまりにも単純すぎるのですが..
主張の特異な傾向性について語れるのかと思ったら、そうではなかったですね。単純すぎる解決策ではないでしょうか。
うーん……こういうウォーターマークのせいでしょうか？ 最近、ChatGPT上では正常に見える韓国語が、コピー＆ペーストすると文字化けした状態で貼り付けられる現象をかなり経験しています