Overture Maps Foundation、世界規模で初のオープン地図データセットを公開
(overturemaps.org)- 4つの主要レイヤーで構成される市場グレードのオープン地図データセットの初の正式リリースで、誰でも自由に活用できるグローバルな地図基盤データを提供
- Places of Interest（POI） レイヤーには世界中の5,900万件以上の場所データを含み、ナビゲーションやローカル検索など位置情報サービスの基盤を整備
- Buildings・Transportation・Administrative Boundaries など、建物・道路網・行政境界まで統合した多層構造で構成
- すべてのレイヤーは Overture Mapsデータスキーマでフォーマットされ、相互運用可能な標準方式での収集・活用を支援
- 単一組織では負担が難しくなったグローバル地図データの収集・維持コストを、共有資産モデルによる協業で解決する転換点
リリース概要
- Overture Maps Foundation（OMF）が Overture 2023-07-26-alpha.0 バージョンとして初のオープン地図データセットを公開
- 4つの固有データレイヤーで構成: Places of Interest（POIs）、Buildings、Transportation Network、Administrative Boundaries
- 各レイヤーは複数のオープン地図データソースを組み合わせ、一連の品質検査を通じて**検証および統合（conflation）**を実施
- 2023年6月に公開された Overture Mapsデータスキーマでリリース
- Placesデータセットは世界中の5,900万件以上の場所を含み、ナビゲーション・ローカル検索・各種位置情報アプリの基礎要素となる
- データセットはdownloadページからダウンロード可能
財団の構成と背景
- 2022年12月に AWS、Meta、Microsoft、TomTom が設立
- 現在、十数社以上のマッピング・地理空間・技術企業が参加し、新メンバーとしてESRI、Cyient、InfraMappa、Nomoko、Precisely、PTV Group、SafeGraph、Sanborn、Sparkgeoが加入
- 地図データは将来のアプリケーションを支える共有資産であるべきだという前提に基づく
- 地図の正確性・最新性・出典に対する要求が高まるなか、グローバル地図データの収集・維持コストと複雑性は単一組織の能力を超えつつある
データレイヤーの詳細
-
Places of Interest
- これまでオープンデータとして公開されたことのなかった5,900万件以上のPOIレコードを含む
- 創設メンバーである MetaとMicrosoft がOMFに提供したデータから派生し、世界中の場所データのベースラインを提供
- 今後、オープンな政府データ、クラウドソーシングによるローカルマッピングデータ、AI/ML手法など利用可能なリソースを組み合わせ、データを継続的に改善・更新・拡張
- CDLA Permissive v2.0 ライセンスを適用し、地図制作者や位置情報サービス提供者が自由に利用可能
-
Buildings
- 世界中の**7億8,000万件以上の固有の建物フットプリント（footprint）**を含む
- OpenStreetMap、Microsoft AI生成建物フットプリント、Esri など複数のオープンデータプロジェクトを組み合わせて開発
-
Transportation
- OpenStreetMap データから派生した世界の道路網表現
- コミュニティが構築したデータをOvertureデータフォーマットに再構成し、一貫したセグメント分割と**線形参照システム（linear reference system）**を提供
- 制限速度やリアルタイム交通量などのデータ追加に対応
-
Administrative Boundaries
- 国および地域の行政境界に関するグローバルなオープンデータセット
- 地域名が40以上の言語に翻訳され、国際的な活用を支援
データスキーマと相互運用性
- すべてのレイヤーは最近リリースされた OMFデータスキーマでフォーマット
- 地図サービス開発者が標準化・文書化された方式でデータを収集・利用できるよう設計され、相互運用が可能
公開目的と今後の計画
- データを公開リリースして一般からのフィードバックを収集し、フィードバックはGitHubまたはメールで提出可能
- 今後のリリースで新たなオープンデータソースを統合予定
- 各レイヤーをOMFスキーマへ追加変換
- 地図フィーチャーにデータを一貫して追加できる安定したID体系である Global Entity Reference System を実装予定
1件のコメント
Hacker News の意見
Overture Maps は、地理空間分野の大手プレイヤー、つまり TomTom、Amazon、Microsoft などが、Google を除いて OpenStreetMap のような公開データセットを自社所有の独自データや処理方法とあわせて活用しようとするプロジェクトである
公開データに基づく地理空間データを各社が独自プロセスで補強したうえで、成果物は比較的許容度の高い Community Database License Agreement - CDLAv2 で再配布する一方、そのデータセットを作るために必要な元データとプロセスは非公開にしておこうとするコンソーシアムである
OpenStreetMap コミュニティでは議論が多いが、OSM 周辺エコシステムにこれほど多くのリソースが投入されることは、全体としては好意的に受け止められている
低賃金の契約社員による編集であれ、衛星写真から人工知能で抽出した内容を大量インポートしたものであれ、問題になっていた
OSM は、他のデータと結合すると全体を同じライセンスで公開しなければならない形でライセンスされていると理解していた
たとえば今取り組んでいる地理空間ベースの医療アクセス分析では、places レイヤーが医療提供者の所在地についてかなり正確な情報源だと信頼できるなら、非常に価値がある
CMS データと健康保険プランのデータをすべて結びつけ、OSM Tiger ジオコーダーでジオコーディングするのは手間がかかるので、すでにクレンジング済みのデータがあれば本当に大きな助けになる
Google Maps のような地図そのものを探しているなら、Protomaps を強くおすすめする https://protomaps.com/
単一ファイルである PMTile 形式の中にすべての地図データが入っており、そのファイルへの範囲リクエストで特定の領域/ズームに必要なベクターデータを取得できる
たとえば S3 に
myfile.pmtilesを置き、Lambda がパスの x/y/z を受け取って正しい範囲をリクエストし、CloudFront がタイル応答をキャッシュする構成が可能だその後は
tiles.mydomain.comや CloudFront ドメインをそのまま使い、フロントエンドでは Leaflet などでタイルを取得してレンダリングすればよいLeaflet では protomaps プラグイン/ライブラリを使い、
"[https://tiles.yourdomain.com/20230408/{z}/{x}/{y}.mvt](<https://tiles.yourdomain.com/20230408/{z}/{x}/{y}.mvt>;)"のような URL を渡せばよく、ここで20230408は S3 バケットの20230408.pmtilesに対応する新しい pmtiles ファイルをバケットに入れて、クライアントが新しいソースを使うよう更新できるし、タイルがベクター形式なのでクライアント側で好きなようにテーマを適用できる点も良い
100GB を超える全地球タイルセットを必ず使う必要はなく、同じ開発者が提供するツールで特定の地理領域だけをダウンロードすることもできる https://app.protomaps.com/downloads/small_map
.pmtilesファイルは 100GB を少し超えるが、全体のセットアップは長くても 1〜2 時間以内に動き、運用コストは Google Maps よりはるかに低くなるはずだ任意のズームレベルで止まるように見えるので、このソリューションを評価するときに自分が気にするであろう詳細情報が欠けている
GitHub リポジトリを掘ると https://protomaps.github.io/PMTiles/?url=https%3A%2F%2Fr2-pu... が出てくるが、Google Maps を完全に置き換えるほどではないにせよ、少なくともこちらのほうが詳しい
MVT 地図を使ってその場でタイルを生成し、CGI バックエンドとキャッシュを組み合わせてから Leaflet でレンダリングする簡単な方法があるのか気になる
Leaflet で作った小さな個人用地図レンダラーのプロジェクトがあり、今は Google、OSM、Esri の 3 つのタイルソースを使っているが、ソースがもっと増えるとうれしい
「行政境界: 国および地域の行政境界のグローバルな公開データセットであり、国際的な利用を支援するために 40 以上の言語に翻訳された地域名を含む」とは、面白くなりそうだ
記憶が正しければ、Google Maps は紛争に巻き込まれないよう、地図をリクエストした場所の観点に応じて境界線の表示を変えていた
多くの国では、境界を「正しく」表示しないことが犯罪になる
関連する出典: https://qz.com/224821/see-how-borders-change-on-google-maps-...
ユーザーが数百万人規模でないなら、そうした国々の中でも誰も気にしない可能性が高い
データを提供するのはよいことだが、実際に取得しようとすると、可能な限り複雑に絡めてあるように見える
DuckDBを使ってインポートしなければならないというが、なぜ単にMySQLのダンプファイルをサポートしないのか分からない
なぜユーザーがDuckDBを持っていなければならないのか、DuckDBがそこまで一般的なのかも疑問だ
提供されたリンクも動作しないので、実際に使えるものがないように見えるし、これをどう使えというのか分からない
さらにAmazon S3と、そこへアクセスするための非標準のクエリ言語のようなものも要求していて、理解できない
自分だけがそう感じているわけではないだろうし、今の方式よりもっと汎用的であるべきだ
AWSやAzureが望むなら、そのバケットに
s3:Getとs3:Listを開放して、認証なしの読み取りを可能にすることを妨げるものはないAllThePlacesのコントリビューターとして、この話題には関心がある https://www.alltheplaces.xyz/
AllThePlacesは、name-suggestion-indexに出てきそうなフランチャイズや小売チェーンのWebサイトをクロールするScrapyスパイダーを集めるオープンソースプロジェクトで、位置データはCC-0ライセンスで収集している http://nsi.guide/
ほぼ1700個のスパイダーから、300万件弱の関心地点データを集めている
Overture Mapsはかなり閉鎖的でプロプライエタリなプロジェクトに見え、公開性はデータセットとスキーマ仕様をダウンロードできるという主張に限られているようだ
まず、データがどのように生成されたのかについて公開された説明がないため、エンドユーザーは正確性と完全性を保証されにくい
行政境界は恐ろしく複雑で、係争境界、境界定義の大きな曖昧さ、行政境界データを使うアルゴリズムの性能と境界精度の間のトレードオフが含まれる
Overture Mapsがどの境界定義に従っているのか、あるいは複数の定義をサポートできるのかは分からない
MicrosoftがBingBotによるインターネットクロールから得た
ld+json/マイクロデータの地理情報を提供した可能性があるが、このデータは、フィールドが混ざっていたり誤って再利用されていたり、5年前に閉店したことを示そうとしてフィールド名に「CLOSED」が入っていてもWebページは残っていたり、営業時間の仕様も非常に曖昧だったりするなど、悪名高いほど不正確だAllThePlacesでは、店舗やレストランのフランチャイズなどの組織がWebサイトで公開している雑然としたデータを組み合わせるために、人間がかなり複雑な判断をしなければならないスパイダーが多い
ショッピングセンター内の個別店舗のように±1〜5mの正確度と精度が必要になり得る位置情報でも、権威あるソースは通常、1mmの精度と±10〜100mの正確度でデータを提供する
AllThePlaces、Overture Maps、Google Mapsのようなところでも、依然として現地調査を行う人間の編集者、つまりOpenStreetMap編集者が正確な位置を記録し、位置の定義を標準化する必要がある
点の位置を、不規則な多角形全体の中に入れられる最大の正多角形の中心と見るのか、平面薄板の重心と見るのか、主出入口の位置と見るのか、といった定義も必要だ
Overture Mapsが場所データをBingBotに依存しているなら、BingBotが決して見つけられない膨大な数の関心地点を取りこぼすことになる
たとえば、文書化されていないREST/JSON/GraphQL API呼び出しや、観測された店舗検索API呼び出しのパラメーター変更があって初めて、すべての位置と関連フィールドが返ってくる場合がある
Web開発者は、5年前に更新されたサイトマップから1GBを超える1万ページをクロールしろと
robots.txtに書いておきながら、最新データ5MBを得るための高速なAPI呼び出し10回はできないようにする、といった馬鹿げたことをよくするOverture MapsはAllThePlacesのデータがCC-0なので自由に利用でき、BingBotのクロールデータ、許可を受けた商業施設に関する政府DB、郵便住所のジオコーディングデータなど、他のソースと照合することもできる
しかし複数ソースのデータの汚さは、人間がやっても照合がほとんど不可能に近いレベルに達するだろうし、Overture Mapsは重複を受け入れるか、完全性を諦めるかを決めなければならないかもしれない
また、他の人が同じデータを再現できる公開ツールもない
AllThePlacesのユーザーは、CloudflareやImpervaのようなインターネットを壊している第三者、カスタムのジオブロッキング、まれには過度なリクエスト制限メカニズムにしばしばやられる
Overture MapsがBingBotのクロールに依存しているなら、Cloudflare、Imperva、顧客のファイアウォールなどがBingBotを意図的に許可するためAllThePlacesより少し有利だろうが、世界中の関心地点をできるだけ多く捕捉するには、住宅用ISPの帯域とボット検知回避ソフトウェアがますます必要になる
何十カ国にも人が必要で、各国向けのWebサイトをその国の住宅用ISPのアドレス空間からクロールしなければならない
そうしなければ、米国式の世界観、欧州式の世界観、あるいは全体像ではない何かで終わってしまう
Overture Mapsがデータクレンジングの問題や悪いソース、あるいは権威のないソースのせいで特定のフランチャイズ/ブランドの位置を誤って持っていたとしても、そのフランチャイズ/ブランドがIssueを立てたりパッチを提出したりできるソフトウェアリポジトリがない
AllThePlacesが取得したオーストラリアのショッピングセンターの例: https://www.alltheplaces.xyz/map/#18.07/-33.834646/150.98952...
Overtureは、民間企業がOpenStreetMapのような公開データを活用しつつ、自社のプロプライエタリなデータやプロセスと組み合わせられるようにするために作られた
意図は、成果物をCommunity Database License Agreementという比較的許容的な新しいライセンスで共有しつつ、プロセスと基盤データはプロプライエタリなままにしておくことだ
ここには明らかな宣伝的な包装もある
こうした地図を「信頼できる」または「公式」な裏付けのように発表し、商取引、安全、保険請求、あるいはセキュリティではないものの価値のあるデータ駆動型活動の判断根拠として使おうとしているようだ
一般の人々や公的な監視が、ここでどのような救済手段を持てるのかは疑問だ
GitHub リポジトリはこちら: https://github.com/OvertureMaps/data
ライセンスはかなり寛容に見えるし、公開地図エコシステムの現状に詳しいわけではないが、GERS のアイデアも良さそうに見える
https://docs.overturemaps.org/gers/
興味深いことに、4つのレイヤーのうち2つは ODbL を使っている
Overture がここで OSM データをどうやってライセンス・ロンダリングできるのかは不明
「交通: OMF の交通レイヤーは、OpenStreetMap プロジェクトのデータから派生した世界中の道路網を表す。このコミュニティ構築データは Overture のデータ形式に再構成され、一貫したデータ分割と、速度制限やリアルタイム交通情報のようなデータ追加を支援する線形参照システムを提供する」とされている
OSM の ODbL は、OSM の貢献者にクレジットを与えなければならない点が非常に明確
CDLA Permissive v2.0 が魔法のように Overture にこれを回避させてくれるとは考えにくい
修正: データセットごとに異なるライセンスを使っていることを見落としていた
transport テーマは ODbL なので、慎重でないユーザーは間違いなくつまずきそう
CDLA ライセンスは寛容: https://cdla.dev/permissive-2-0/
私の解釈では、OSM へのクレジットを避けようとしているのではなく、OSM から来た部分は OSM のクレジットとライセンスを維持し、残りは誰でも使えるように CDLA 2.0 でライセンスしようとしているのだと思う
記事には、CDLA ライセンスは OSM データではなく、Meta と Microsoft が提供したデータに適用されると明記されている
Meta と Microsoft が自社データを OSM に提供せず、別のライセンスで公開するのは残念だが、世の中そんなものだ
素晴らしい
いつか Google は地図から今よりもっと多くの売上を引き出そうとする気がするし、その時こうした協働型の地図システムが本当に力を得るだろう
人々が衛星画像を購入して、こうしたシステムに投入できるよう資金を出す方法があるといい
たとえば Sunnyvale は、交通や用途地域指定などを議論する際に使う都市画像に多額の費用を払っていたが、そうした画像を公開データセットに入れられるといい
記憶が正しければ、Google も製品で自治体所有の画像を使っている
単一の都市は Google が気にするほど大きな提供元ではないかもしれないが、特に欧州では、画像を見ると国や地域政府の著作権表示を見たことがある
ただし今は衛星画像の供給元が多いので、Google が新しい素材にそこまで飢えているわけではないかもしれない
Google と協力している商業プロバイダーは、おそらく米国本土全体を12か月に1回くらい撮影していると思う
より需要が大きそうなのは、非常に高いズームレベルで使う航空写真だ
地理空間の専門家ではないが、こうした画像は視覚資料と併せて高さマップを作るために、LIDAR やマルチスペクトル画像のようなものと組み合わされるようで、取得コストはかなり高そうに見える
これと OpenStreetMap の違いは何だろう？
道路、店舗、川から観光地、ハイキングルート、病院まで、あらゆる細かな情報を扱う
誰でも貢献できるし、OSM にかなり関わってきた立場から言うと、何かを地図に載せたいなら、特に自分の周辺地域なら歓迎される
Overture は、企業の新しいグループがいくつかのデータセットを公開ライセンスで配布するものだが、それを作るのに使った方法はプロプライエタリなままだ
公開したデータの一部は彼ら自身のもので、多くのデータセットは OpenStreetMap データを再パッケージしたものだ
Overture は個人の地図編集者のコミュニティではなく、データ中心の地図プロジェクトなので、OSM を補完することを目的としている
OSM を他のソースと組み合わせて新しい公開地図データセットを作り、Overture のデータは互換性のある公開データライセンスの下で OpenStreetMap コミュニティが利用できるよう提供される
Overture のメンバー企業は OSM に直接貢献することが推奨される
家の近くに1日20人程度しか使わない砂利道があるのだが、近くの工事のために道の一部が数メートル横に移された
OSM はその翌日には、その新しい現実を反映していた
もう BigQuery に載せてみた人はいる？
「Google にブーイング」的な雰囲気なのは分かるが、単に自分が BigQuery に持っている他のテーブルと少し join したいだけだ
自分でインポートを保守する代わりに使えるコミュニティ BigQueryのようなものがあるのか気になる