They See Your Photos - 写真が示す情報
(theyseeyourphotos.com)- 個人の写真は、目に見える被写体だけでなく、私的な情報まで明らかにしうることを示す実験
- ユーザーが写真を1枚アップロードすると、Google Vision APIによってAIがどのような情報を読み取るのかを確認できる
- 核心は、複数のデータを集めたプロフィール分析ではなく、単一の写真だけでも予想以上に多くの推論が可能だという点
- 複数の写真や長期的な行動分析を扱う内容ではなく、入力範囲は写真1枚に限定される
- 写真の共有やアップロードがAI分析を経ることで、意図しない情報露出につながりうることを直接実感させる
1枚の写真が明らかにする情報
- They See Your Photosは、ユーザーがアップロードした写真からAIが何を見ているのかを直接確認できるようにした実験
- 写真は多くの個人情報を明らかにしうるものであり、この実験は単一の写真だけで推論可能な情報に焦点を当てている
使い方
- ユーザーは写真をアップロードする
- システムはGoogle Vision APIを使って、写真から読み取れる情報を確認する
- 「彼らが見るものを見よ」というメッセージを通じて、AIが写真をどのように解釈するのかを体験させる
1件のコメント
Hacker News の意見
magick convert IMG_1111.HEIC -strip -quality 87 -shave 10x10 -resize 91% -attenuate 1.1 +noise Uniform out.jpgこのコマンドはすべての EXIF メタデータを削除し、JPEG 品質を変更し、単に各辺から10ピクセル削り、特定の比率でリサイズし、減衰を適用したうえで
Uniformタイプのノイズを追加するものさらに
attenuateはコマンドラインで+noiseスイッチより前に置く必要があり、JPEG 品質の数値が悪いほど画像改変の検出は難しくなる[1]リサイズ比率は 91.5% や 92.1% のような小数も可能。AI 画像検出とは別に、メタデータを削除するだけでなく、公開する画像ごとに互いに異なるものにでき、元の写真とも確実に違うものにできる
[1] https://fotoforensics.com/tutorial.php?tt=estq
AI image detection notwithstandingと言っても、試す意味はない。単に人間にとって見た目が悪い画像にするだけhttps://en.wikipedia.org/wiki/Perceptual_hashing
TinEye の逆画像検索を見ると、こうした変形も簡単にマッチする
https://tineye.com/
ウォーターマークは RGB とは別の色モデルや、大きく変換された画像領域に信号を入れることが多いので、ウォーターマーク信号の「軸」に沿ってノイズを入れているわけでもない。類似画像検索にもあまり効果はなく、こうしたアルゴリズムは数十個のランドマークを見つけ、そのうち高い割合を共有する画像を検索する。以前はコーナーのような高コントラストの幾何学的特徴がランドマークで、ノイズの影響をほとんど受けなかったし、最近では圧縮やノイズのような一般的な変形に対して訓練されたニューラルネットワークが選ぶものなら何でもランドマークになり得る
これを使うときは、作者を法廷に訴える権利を放棄することになる点を覚えておくべき: https://theyseeyourphotos.com/legal/terms
PLEASE NOTE THAT THESE TERMS CONTAIN A BINDING ARBITRATION PROVISION AND CLASS ACTION/JURY TRIAL WAIVER.こうした条項は米国では一般的で、米国の裁判所で一貫して認められてきた。興味深いことに、Ente は一般利用規約にはある拒否（opt-out）条項をここには入れていない（https://ente.io/terms）。なぜこの特定のサービスにだけ、より制限的な規約を作ったのか気になる
これは単なる自社の写真サービスの広告だ。AI で分析しないなら検索機能もひどいものになりそうだが、それは Google Photos の最高の機能の一つでもある
Ente はオンデバイス機械学習で動く、かなりまともな検索[1]を提供している[2]
[1]: https://ente.io/blog/machine-learning
[2]: https://ente.io/ml
写真を顔のない AI に食わせて大量の電力を使わなくても、セルフホストのソリューションで十分にそうした機能を提供できる
これは視覚障害者向けの画像説明生成にはかなり優れているかもしれないが、一目で分かること以上の深い洞察は与えてくれない
「賢く見せようとする」冗長な言い回しが多い。たとえば木の枝の写真について、「注意深い観察者なら、枝の太さや質感の微妙な変化にも気づくことができ、それは自然で有機的な成長パターンを示唆している」と言っていた
ありがたい。そうでなければ、その木が不自然な無機物の木だと思っていたかもしれない
どんな写真でも、注目すべきディテールや含意があるかどうかにかかわらず、こうした試みをするようだ。写真から隠れた事実を推論するシャーロック・ホームズ式の推理を見せようという意図は分かるが、モデルが見つけられるものがないときには滑稽になる
フレームの外にある耳にイヤリングを幻覚したり、裸足の子どもの左の靴にピントが合っていないと言ったりするようなものでなければ、もっと怖かったはず
モデルが必死に「浮いているろうそくを幻覚するな、浮いているろうそくを幻覚するな」と考えている様子を想像した
「画像は1頭のユキヒョウを中心に捉えており、人は写っていません。ヒョウの表情は警戒していてやや用心深いものの、攻撃的ではありません。画像からヒョウの年齢や正確な健康状態を断定するのは難しいですが、比較的良好な身体状態の成体に見えます。経済的地位や生活様式を明確に示す手がかりはありません」
混乱している瞬間を見るのはかなり興味深かった。LLMの単語計算のように「うん、もしかしたらそういう答えを出すこともあるかも」と推測できる感じではなかった。視覚的な幻覚は単に「それ、画像にはまったくないじゃないか…」という類のものだった
Googleのようなビッグテックを避ける技術的な解決策を作ろうとする努力はありがたいが、それでも最善の方法は写真プリントだと思う
家族の中ではたいてい自分が「写真担当」なので、行事の後には関係する家族の家にプリント写真を注文したり、直接持って行ったりする。実物を手に持つことに比べられるものはあまりない
さらにプリントには多少の費用がかかるため、終わりなくスクロールされて流れていかないよう、本当に良い写真を数枚だけ見せようという動機が生まれる
フラッシングの問題で煙突に生じた損傷の写真を上げたら、意外に洞察があった。ただし、うちの家が古くて放置されていると言われた。おい、それはひどいだろ
ともあれ、AIの大半にはかなり懐疑的だが、家の修理で正しい方向をつかむために使うのはかなり魅力的に聞こえる。でたらめを言わず、安くて、実際に来てくれる施工業者を見つけるのはほぼ不可能だから
最近のLLMのように、たくさん話すが実際には大したことを言っていないやり方に見える。個人写真を数枚上げてみたが、場面についての平凡な説明以外には、識別できる情報をあまり出さなかった
例：「背景には、ヨーロッパの都市に特徴的な現代的な建物と古い建物が混在しており、さまざまな建築様式が見られます」
https://postimg.cc/yD4YZKFk
写真に位置データがないことは確信しているのに、最初の文は「この画像はイリノイ州ChicagoのUnion Station内部を示しています」だった。最後のほうには少し未熟な美術批評が付いていたが、正確な場所とクリスマスツリー、ベンチに座っている人々は当てた。横のジャズアンサンブルは見落としていた
Enteは、私が家族と一緒にセルフホストしているImmich[0]にエンドツーエンド暗号化が付いたもののように見える。私は暗号化されていないほうが好きだ。何かが壊れたとき、ファイルがディスク上にそのまま保存されていて簡単に復旧できるから
[0]: https://immich.app/
GoバイナリはほとんどのNASを含め、ほぼどこでも実行できるが、Argon2のため、マスターキーを復号するには最低1GBのRAMが必要
[0] https://github.com/ente-io/ente/tree/main/cli
「白鳥については、年齢やその他の詳細（人種的特徴、民族性、経済的地位、生活様式）を確認できません。」
強調は私が追加した
自分は優れた画家ではないが、ほかの部分のディテールはかなりよく拾っていた。おそらくプロンプトがこうしたことを尋ねていて、AIは答えるのを嫌がっているのだと思う。ただし、絵柄から作者はおそらく男性だろうとは言っていた。実際に私は男だし、自分の絵柄がより男性的なのかもしれないが、それをどう定量化するのかは分からない