ニューヨーク市内のすべてのテキスト検索
(alltext.nyc)- Google Street Viewの800万枚以上の画像をAIで分析し、1億3,800万件の街頭テキストを抽出
- これを検索可能なNYC街頭テキストデータベースとして構築し、検索エンジンを生成
- メディアアーティストYufeng Zhaoの作品であり、これによって特定の単語(例: pizza, Broadway, luxury, beware, gold, iglesia, jerk など)の位置分布を地図上に表示し、文化・商業・地域的特性を可視化
- NYCの街路風景を一種の**「ソースコード」**として読み解く実験であり、都市データの新しい探索方法
プロジェクト概要
- 目標: NYC全域の可視テキストを収集し、検索可能にすること
- データ出典: Google Street View (2007〜2025、800万枚超の画像)
- 技術: 画像内文字認識(OCR)、位置座標マッピング
- 範囲の制限: 車両が撮影できる通りの可視範囲内のテキストのみを含む(路地・公園・小さな文字は除外)
主な可視化事例
- Pizza: NYC全域のピザ店の分布
- Broadway: すべてのボロにあるBroadway標識と劇場密集地域
- Luxury: 新規住宅開発の宣伝文句で、Hudson Yards地域に集中
- Beware: 住宅やフェンスのある郊外住宅地に集中し、マンハッタンにはほとんど存在しない
- Gold: ダイヤモンド街区および金買取店が並ぶ通り
- Iglesia: スペイン語圏コミュニティの教会の位置
- Jerk: ジャマイカ料理店の多いFlatbush・Jamaica地域
- Unisex: 理容・美容の複合店舗の地理的分布
興味深いテキスト事例
- Fedders: 1950〜90年代のビルトインA/Cブランドのロゴ、「Fedders house」現象
- Yodock: 工事現場の歩道用プラスチックバリアのブランド
- 4Cars (Acars): 違法に貼られた中古車買取広告、OCRの誤認識
- Sabrett: NYCを代表するホットドッグカートのブランド、観光地での分布
- Halal: イスラム式の食品販売店・カートで、1980年代に始まり都市の食文化として定着
- Siamese: 消防ホース接続口の種類名
- Surveillance: 監視カメラの案内表示で、公共・私設施設の全域に存在
解釈と意味
- プロジェクトは都市をテキストベースの地図として再解釈し、商業・文化・安全・インフラの痕跡を視覚的に示す
- 特定の単語の地理的分布は文化圏・産業・社会的特性と密接に関連している
- 警告・監視関連の単語はNYCの安全・統制文化と公共空間の記録性を反映している
- データは単なる可視化だけでなく、都市史・社会学・ブランディング研究資料としても活用可能
4件のコメント
本文はかなりハルシネーション気味です。
"all text in nyc"は、ニューヨーク市の Google Street View 画像内のテキストを見つける検索エンジンです。任意の単語やフレーズを検索すると、それが街のどこに現れるかを確認できます。たとえば、店の看板、グラフィティ、広告、抗議サインなどです。本文のサイトは、Street View 全体に OCR をかけて特定の単語を探せるようにしたサイトです。
修正されたようですね
本当に面白いのですが、これを作ったのが政府でもGoogleのような企業でもないと考えると、少し怖いですね
世の中にデータがあふれているのを感じます
Hacker Newsのコメント
このサイトについてのこの記事もとても興味深い。The PuddingのStreet Viewプロジェクト
The Puddingは最近のインターネットで見られるコンテンツの中でも最高クラスの一つだと思う
一番上に追加しておいた
YouTubeには、いろいろな都市を歩いて移動する様子を撮った動画を投稿している人たちがいる。個人的には東京/日本を歩く動画が特に好きだ。ああいう動画から3Dマップを作ってみるのも面白そうだと思う。この分野は専門ではないけれど、すでにやっている会社もありそうだ。ああいう動画には膨大なデータが含まれている。もしかするとロボットの訓練用(群衆の中を歩く配達ロボットなど)にも無料で使えるかもしれない
技術的にはSLAM、フォトグラメトリ、VIOの組み合わせになりそうだが、IMUがないのでその部分は動画から推定する必要がある。フレームレートや照明のちらつきまで考えると、かなり厳しそうだ
例のリンク: 東京の街歩き, 別の例
同じように、不動産写真のような静止画像から平面図を復元するツールがあれば本当に便利だと思う。部分的に手動入力が必要でも十分使えるはずだ
以前、東京の電気街を回ってYouTube動画を撮っていた人がいた。意外なことに、スマートフォンやロボット部品を買うのに最適な場所は、まったく目立たない建物の中にあって、本当に現地の知識がなければ分からないような場所だった。もし提案どおりに本当に実装されたら、旅行者がこういう場所を見つけるのにものすごく役立つはずだ。ぜひ見てみたい
Google Mapsの検索にこういう機能が追加されたら本当に面白いと思う。Google Mapsでは情報を探しにくいと感じることがよくある。最近Gran Canaria南部でハンドドリップコーヒーを出す店を探したのだが、結局ホテルの中にある1軒しかなく、見つけるのに30分もかかった。自分は"pourover"や"v60"のようなフィルターワードで検索することが多いが、カフェが説明文やレビューでそれを明確に書いていなければ見つけにくい。客が撮った写真の中のテキスト(たとえばメニュー)もまったくインデックスされていないように見える
V60で検索すると大半はVolvoの車が出てきそうだが、実際にカフェでそういう単語が写った写真がどれくらいあるのか気になる
コーヒーショップ側がそういう単語を意識していなかったなら、今こそ考えてみてもいいと思う。正直、自分もこのサイトをまた見に来そうだ
データを準備した人のGitHubが気になったので残しておく。ニューヨークのデータ分析にどれくらいの計算資源が必要だったのか気になる。自分の街でもやってみたいが、予算が全然足りなさそうだ yz3440 GitHub 参照(下のコメントが正しい。実際に心配すべきなのは計算資源よりGoogle Maps APIの料金だ。無料でやるなら、作者でも数年はかかったはずだ。作者の予算がうらやましい)
OCRの計算コストは安いはずだと思う。性能のよい個人用PCがあれば、一晩から1週間くらいで十分ではないか。問題はGoogle Maps APIの利用料金だ。アートプロジェクトとして認められて料金免除でもされない限り、かなり重い負担になる。Maps Platformの価格を見る 大都市でパノラマ数が多い場合、無料枠を超えると数千ドルになる
記事によると800万件のパノラマを使ったそうで、Street View APIだけでも約3万ドルかかったはずだ(静的画像APIは解像度が低いので、おそらく2倍必要になってもっと高くつく)。OCRは急がなければずっと安く済みそうだ。たとえばPaddlePaddleサーバーを回す一般的なGPUなら秒間4MPを処理できる。数千ドルのハードウェアで3〜6か月ほど回せばよさそうだ(解像度やモデルサイズによる)
800万枚ということは、1週間なら毎秒13.2枚の計算になる。気になるのは、データをGoogle APIで取得したのか、それともGoogleと協業したのかという点だ
Claudeと計算してみたところ、台北のストリート画像全体をgmap apiで3m間隔で取得すると約8,000ドルかかるという結果になった。高いが、不可能というほどの額ではない
"fuck" のような罵り言葉を検閲しているのが興味深い。わざと完全な綴りで読んだからといって脳に影響があるのかは分からない
実際の写真ではその単語を見つけられる。もしStreetView版のどこかで別途検閲されているのなら別だが
おそらくSEOかファミリー向けポリシー、あるいはその両方のためだろう。ちなみにYouTubeにも、動画の最初の1分での罵り言葉を禁止するルールがある
"Fool" を検索するとOCRの誤認識が大量に出てくる。遮蔽などが原因だ。検索結果の例 "Surgery of the Fool" が最高だ
OSINT(公開情報分析)にとても役立ちそうだ。情報機関はすでにこういうものを世界規模で持っているのではないかと気になる
本当に素晴らしいプロジェクトだ。もしCLIPのような埋め込みまで入れて、テキストだけでなく「人がけんかしている」「猫と犬」「赤いテスラ」「ピエロ」「子どもと子犬」などの意味ベースのベクトル検索までできたら、10倍すごくなると思う
関連プロジェクトとして All Text in NYC と All text in Brooklyn もある
NY Cerebroというサービスを思い出した。ニューヨーク市内の数百台の公共街頭カメラに対して意味ベース検索ができる nycerebro.vercel.app(例: "scaffolding" を検索)
公共街頭カメラの解像度があまりに低くて驚いた。車のライトの反射も加わって、あまり満足できるものではない
このサービスは以前、NVIDIAとVercelのハッカソンで1位になったプロジェクトだ