2 ポイント 投稿者 GN⁺ 2 시간 전 | 1件のコメント | WhatsAppで共有
  • OpenAI は、AI生成コンテンツの識別に向けて、C2PA適合性、SynthIDウォーターマーク、公開検証ツールを組み合わせた多層的な来歴モデルを強化
  • C2PA は、メタデータと暗号学的署名によって、コンテンツの生成・編集の文脈を一緒に持ち運べるようにするが、変換過程で損なわれる可能性がある
  • Google DeepMindの SynthID は、ChatGPT、Codex、OpenAI APIで生成された画像に不可視ウォーターマークを加え、メタデータの弱点を補完
  • 公開検証ツールのプレビューでは、アップロード画像の Content Credentials とSynthIDを確認し、OpenAI生成かどうかの判断を支援
  • 単一の技術だけでは十分ではなく、共通標準、持続性のあるウォーターマーキング、公開検証を組み合わせることで来歴エコシステムが強化される

コンテンツ来歴アプローチの強化

  • OpenAIはオンライン上の信頼構築のために 多層的な来歴モデル を強化し、オープン標準とプラットフォーム間の協力を基盤として、AI生成コンテンツの識別可能性を高めようとしている
  • 主な変更点は3つ
    • C2PA適合性 により、他のツールやプラットフォームが来歴シグナルをより簡単に認識できるよう支援
    • Googleと協力し、画像に SynthIDウォーターマーキング を追加
    • 画像がOpenAIで生成されたかどうかを一般の人が確認できる公開検証ツールのプレビューを提供
  • 来歴シグナルは、コンテンツがどこから来たのか、どのように生成・編集されたのか、主張内容と一致しているかを判断するために必要な文脈を提供する

C2PA適合性による信頼エコシステム

  • OpenAIは2024年から来歴標準の開発と導入に参加しており、DALL·E 3 で生成された画像に Content Credentials を追加し始めた
  • その後、ImageGenSora にもContent Credentialsが適用された
  • OpenAIは、コンテンツ来歴のためのオープンな技術標準を推進する業界横断団体 Coalition for Content Provenance and Authenticity(C2PA) の運営委員会に参加した
  • C2PAは メタデータと暗号学的署名 を使って、メディア関連情報がコンテンツ自体とともに安全に移動できるよう支援する仕組み
  • この情報は、来歴を評価する記者、完全性に関する判断を下すプラットフォーム、オンラインコンテンツを理解しようとする人々に文脈を提供する
  • OpenAIは最近 C2PA適合生成製品 となった
  • C2PA適合性は、プラットフォームがコンテンツに付随する来歴情報を信頼できる形で読み取り、保存し、伝達できるようにする基盤となる
  • 来歴情報は、コンテンツが最初に生成されたプラットフォームを越えて維持されるときに意味が増し、適合性の順守 がそれを可能にする

SynthIDを加えた多層的な画像来歴

  • C2PAメタデータは、コンテンツがどこから来たのか、どのように生成・編集されたのか、誰がその情報に署名したのかを含めて持ち運ぶための基盤
  • メタデータは削除されたり、アップロード・ダウンロードの過程で失われたり、ファイル形式の変更・サイズ変更・スクリーンショットのような変換によって損なわれたりする可能性がある
  • OpenAIは来歴情報をより堅牢にするため、Google DeepMindのSynthID による 不可視ウォーターマーク を導入する
  • 適用対象はまず、ChatGPT、Codex、OpenAI APIを通じて生成された画像から始まる
  • SynthIDは、C2PAメタデータベースのアプローチを補完する追加のウォーターマーク層として機能する
  • OpenAIは以前から、来歴とウォーターマーキングの手法を実運用環境で試験してきた
    • Soraでは 可視ウォーターマーク を使用
    • Voice Engineでは オーディオウォーターマーク を使用
    • 時間が経っても精度と信頼性が維持されるかを継続的にテスト・研究している
  • C2PAとSynthIDは互いに異なる弱点を補完する
    • C2PA はコンテンツに詳細な文脈を持たせるのを助けるが、メタデータが削除または損傷する可能性がある
    • SynthID はメタデータが維持されない場合でもシグナルを保持するのを助け、スクリーンショットのような変換後でもより長く残る可能性がある
    • メタデータは、ウォーターマークだけでは提供できない、より多くの情報を提供する
  • 2つの方式を併用することで、それぞれを単独で使う場合よりもコンテンツ来歴情報の復元力が高まる

公開検証ツールのプレビュー

  • OpenAIは、ChatGPT、OpenAI API、Codexで生成された画像かどうかの確認を支援する公開検証ツールをプレビュー版として提供する
  • このツールは、アップロードされた画像に Content CredentialsSynthID などの来歴シグナルが含まれているかを確認する
  • 複数のシグナルを統合して、ユーザーがコンテンツ来歴情報をより簡単に検証・解釈できるようにすることが目標
  • 公開検証ツールは、OpenAI由来のSynthIDウォーターマークを安定して検出でき、C2PAメタデータが見つかった場合はあわせて表示できる
  • どの検出方法も完全ではないため、検出に失敗した場合でも断定的な結論は出さない
    • メタデータやウォーターマークが検出されなくても、その画像がOpenAIツールで生成されていないと断定しない
    • 来歴シグナルは状況によって削除されることがある
  • リリース時点の検証ツールは OpenAIが生成したコンテンツ に限定される
  • 今後数か月以内に、プラットフォーム全体での検証を可能にする業界横断の取り組みを支援することが目標
  • 時間の経過とともに、オンラインで接するより多くの種類のコンテンツもサポートすると期待されている

今後の課題

  • 単一の来歴技術だけでは十分ではない
  • 強力な来歴アプローチは 共通標準、長く持続するウォーターマーキングシグナル、公開検証を組み合わせる必要がある
  • OpenAIは、Content Credentialsへの既存の対応、C2PA適合性、SynthID導入、公開検証ツールのプレビューを通じて、より相互運用可能な来歴エコシステムに貢献しようとしている

1件のコメント

 
GN⁺ 2 시간 전
Hacker Newsのコメント
  • 黒い背景でAI画像を作らせると、まともなモニターでは SynthID が目に見える。ただの繰り返すぼやけたパターンで、特別なものではない
    2つおきのピクセルをマスクして欠けたピクセルを再生成し、さらに1ピクセルずらして再び2つおきのピクセルをマスクする方法で、かなりうまく除去できた
    ピクセル補完には既存モデルを使ったが、変更前にまず 深度マップ を出力し、ノイズを減らして、新たに生成されたマスク済みピクセルが元の内容に合うようにした。結果は100%完璧ではなかったが、もう少し時間をかけてこの用途向けに微調整したモデルを使えば、どんなAIウォーターマーキングでも大きな問題なく除去できそうだ

    • 0.5ビットのウォーターマーク のように存在有無だけを含むウォーターマークが除去できるとは信じがたい。目に見えるものはおそらく機能的なおとりである可能性が高い
    • 画像をほんの少し拡大・圧縮するだけではだめなのか?
    • もう少し時間をかけて特定用途向けに微調整したモデルなら、どんなAIウォーターマーキングでも大きな問題なく除去できるという点が興味深い。AIをAI相手に使うこと はいつでも面白い
    • 間違いなく回避可能だ。うちのエンジニア何人かもずっと前にこれを扱っていた
      https://deepwalker.xyz/blog/bypassing-synthid-in-gemini-phot...
  • メタデータやSynthIDにはどんな情報が入るのか? SynthID には何ビットまでエンコードできるのか?
    合成コンテンツ向けの栄養成分表示のようなものを作れるだろうか。合成テキスト10%、合成画像30%のように
    今日あなたの現実は15%合成でした(75%巨大企業、25%オープンウェイト neocloud)

    • 2025年10月の SynthID-Image 論文[0] は、512x512画像でフラグ確認または136ビットのペイロードをテストし、各種変換後のウォーターマークの堅牢性を見ていたエンコーダー・デコーダーだったようだ
      実際の配備版はたぶんかなり違うはずだ
      [0]:https://arxiv.org/html/2510.09263v1
    • ユーザーIDや個別の 指紋 を入れることもできる。昔からプリンターにはそういうものが入っていたし、今後は生成するすべての写真や画像にも簡単に入れられるようになるだろう
    • それは無理そうだ。合成された断片を元画像に貼り付けても、SynthID にはそれを知る手段がないはずだから
  • SynthID は完全に破られているように見えるが、OpenAIの新しいウォーターマークはまだそうではなさそうで興味深い [1]
    [1] https://github.com/wiltodelta/remove-ai-watermarks

  • これはただの見せかけの無駄仕事だ
    いろいろなメディアでツールを使って何かを作る立場としては、自分で選んでいない任意のメタデータを埋め込むこういうツールは単に避けるだろう
    ビデオゲーム用テクスチャを作るのに、こんな奇妙な DRMの残骸 を入れなければならないのか? Photoshopはどれだけ前からあるのに、なぜ例外なんだ?

    • 完璧でないからといって無価値とは限らない。実際、オンライン上で誰かが画像をGoogleの SynthID検査 にかけて偽造であることを証明した投稿を見た
      PhotoshopはGoogleやOpenAIが作ったものではないし、Photoshopで写実的な欺瞞画像を作るハードルはAIよりずっと高い。従来の画像編集の使用を不完全ながら検知する手法もすでに存在する
    • Photoshopと 生成AI を区別する要素なら、いくつか十分に思いつけるはずだ
    • 厳密にはDRMはデジタル著作権管理であり、知的財産に関わる
      GoogleやOpenAIが自分たちの画像に対する 知的財産権 を主張する場合にのみSynthIDはDRMになるが、それが合法かどうかは分からない
    • 参考: https://en.wikipedia.org/wiki/Printer_tracking_dots
    • 今日における1分あたりの理論上の最大 偽情報生産量 は、2021年のPhotoshopと比べてどうだろう?
  • いいことだ。除去されるとは言われているが、それを再現可能な形で示すリポジトリはまだ見たことがない

    • Stable Diffusion ならノイズ除去強度10〜15%で終わりだ
      Nano Banana Proが出た初日に試して動作した。今でもNano Banana 2で動く
      公に言えばインターネットをさらに悪くすると思い込んでいたので、どこにも公開しなかった。でも自分が初日に思いついたなら、他の何百万人ものプログラマーも当然思いついていたはずで、純粋に思い上がりだった
      ただしSDモデル特有のアーティファクトは出るし、それは別の方法で検知されるかもしれない。あるいは大きく拡大して注意深く見れば分かるかもしれない
    • そもそも別のモデルを使うほうがずっと簡単そうだ
    • 除去はされるだろうが、多くの人はやらないだろう。実際、SynthID で検出可能な偽情報を見たことがある
  • この記事のすぐ隣にこの記事が並んでいるのが絶妙だ: https://news.ycombinator.com/item?id=48200569

  • mp3のメタデータのようなものか?
    AI画像のスクリーンショットを撮っても、それもAI画像として見なされるのか? 画像の中に隠されているのか、それともメタデータなのか気になる

    • 画像の中に埋め込まれていて、そうした処理を経ても残るよう設計されている
  • 最初は写真がOpenAI由来かどうかを検証し、その次に 購読者データ と位置情報を入れるようになるだろう
    結局のところ、誰もAI生成の写真やテキストを見たがっていないことに気づくはずだ。そうなればこのツールは一般向けには失敗し、政府向けにだけ機能することになるだろう

    • 写真のように写実的な AI生成 の唯一の用途は欺瞞のように見える。すでに米国の政治広告ではAI生成動画が使われている
  • こういうウォーターマークは除去や歪曲が簡単なのではないか? 人々がめったに頼らず、回避する価値がなくなるまでの間だけ役立つように思える
    ソーシャルメディアのプラットフォームがこうしたウォーターマーク付き画像を禁止し始めたら、一夜にして全部剥がされそうだ

    • いや。簡単にできる変形には非常に強い。だからといって不可能だとは思わないが
    • 実際の Nano Banana 2/NBPro 出力で本物のSynthIDウォーターマークを除去するGitHubリポジトリは、まだ1つもないと思う。ほとんどはまだ成果を出していない研究プロジェクトだ
      これまで見た方法は、編集機能を使う際に透明度や元画像オーバーレイを利用する奇妙なトリックか、あるいは拡散モデルでNB生成画像を低ノイズレベルで再生成するやり方だけで、その場合は元画像も変わってしまう
    • 「簡単に」の定義が必要だ。画像の スペクトル解析 に基づくアプローチがあり、見た目には機能しているようだ
      https://github.com/aloshdenny/reverse-SynthID
    • これは数年前に公開されていて、まだ破られていないようだ。いずれ破られるだろうが、ディープフェイクを作ってFacebookに投稿するまで1〜2年待たなければならないのなら、それでも十分かもしれない。1か月遅らせるだけでも十分かもしれない
    • 非常に詳細な説明をもとにAIに画像を最初から作り直させる方法なら通用しそうだ
  • 実際の公開標準である C2PA より劣って見える: https://contentauthenticity.org/