- 2016年、英国政府は Royal Mail の Postcode Address File(PAF) なしで国家住所データベースを構築できるかを Ordnance Survey(OS) に試験させ、公開された情報公開請求資料は、独自構築が現実的な代替になりにくいことを示している
- PAF は英国の物理的な郵便住所の中核データセットだが、2013年の Royal Mail 民営化に伴って 所有・管理権 も民間に移り、Web サイトやアプリで利用するには年間 £6000以上 のライセンス費用がかかる場合がある
- OS は National Address Gazetteer(NAG) と OS MasterMap によって PAF の再構築を試みたが、AddressBase と比べた正確性は 90.8% にとどまり、290万件の誤った住所と420万件の欠落・誤り項目が発生した
- アパート棟、ショッピングセンター、空港、名前だけの住宅、私有進入路の住所のように 複数住所構造 を持つ場所で品質が不安定になり、OS は420万件の問題住所について手作業での確認が必要だと見た
- PAF なしで同水準の住所データを作り直すには 5年半 かかり、結果もより悪くなるうえ、郵便番号自体も Royal Mail の所有であるため、オープンな住所データの現実的な選択肢は PAF を取り戻して公開することに近い
PAFが国家データセットである理由
- Postcode Address File(PAF) は、英国のすべての物理的な郵便住所を収めた中核データセットである
- 個人データではなく住所データベースであり、ショッピングサイトの決済画面で郵便番号だけから住所を自動補完する機能などに使われる
- 研究者や開発者は、正確な住所データにアクセスできてこそ、ツール、サービス、プラットフォームを構築できる
- 現在 PAF は Royal Mail からライセンスを受ける必要があり、Web サイトやアプリ内で住所データを使うには年間 £6000以上 かかる場合がある
- この費用構造は、個人開発者や小規模企業にとって参入障壁となり、経済成長の妨げにもなる
2013年の民営化と2016年の政府の試み
- 2013年の Royal Mail 民営化の際、郵便配達の責任だけでなく PAF の所有と管理 も民間に移った
- 2016年の George Osborne 最後の予算で、政府は「公開され自由に利用可能な権威ある住所レジストリ」の選択肢を開発するために £5m を割り当てた
- 当時の予算文書は、より精密な住所データをより広く使い、頻繁に更新することで、イノベーションの機会を開けると見ていた
- それから8年が過ぎても、PAF は依然として民間所有と高い費用障壁の背後に残っている
- 情報公開請求で公開された研究結果には、政府が OS に対し、Royal Mail の知的財産なしで PAF を再構築できるかを検討させた内容が含まれている
OSがPAFなしで住所DBを作った方法
- OS は、Royal Mail が PAF を作る際に参照する情報源の1つである National Address Gazetteer(NAG) から出発した
- NAG は地方自治体、政府省庁、Ordnance Survey が提供するデータで構成される
- 新しい建物ができると、地域の議会が NAG に変更内容を提出する
- PAF と違って、建物住所だけでなく、変電所のようなユーティリティインフラ、バス停、公園なども含む
- 複数の組織がそれぞれ異なる方法で更新するため、NAG は PAF のように標準化されておらず、データが雑然としている
- OS は NAG の中から有用な建物住所とその他の道路設備を区別するためにアルゴリズムを適用した
- この過程で OS の地図データである Master Map と NAG を比較した
- ベクターや図形の形状を分析し、NAG 項目が建物・個別住所なのか、電柱や郵便ポストのような項目なのかを判定しようとした
- 明確に識別できない住所は推定したり、人が地図を見て修正したり、場合によっては現地調査を行った
- パイロットの結果、OS は 2100万件以上 の完全な住所レコードと 1000万件 の部分完成レコードを作成し、規模だけ見れば PAF に近い水準に達した
正確性評価で明らかになった限界
- OS は新しいデータベースを AddressBase と比較して品質を評価した
- AddressBase は OS が所有する別の住所データベースであり、NAG とは異なる出典を用いて作られている
- 重要な違いは、AddressBase が Royal Mail に費用を支払い、PAF ライセンスデータ も含んでいる点である
- 新しいデータセットは AddressBase と比べたとき 90.8%の正確性 にとどまった
- これは 290万件 の誤った住所につながる
- 新しいデータセットに存在しない、または誤って入った住所は 420万件 に達した
- 一戸建てのように、1つの建物に1つの住所だけが結び付く単純なケースは、比較的再現しやすい
- ユーティリティインフラのような不要な項目を除外する作業も、比較的単純な部類である
- 住所構造が少し複雑になるだけで、誤りは増える
- アパート棟のように1つの建物内に複数の住所がある場合
- 大型ショッピングセンターや空港のように、地図上では1つの建物・住所に見えても、実際には数百の店舗や事業者の住所がある場合
- 私有の共有進入路からアクセスする住宅
- 番号がなく名前だけある住宅
手作業による補正と時間の問題
- OS は、PAF のないデータベースを実際に有用なものにするには 420万件の問題住所 を手作業で確認する必要があると結論づけた
- この工程を経なければ、10件に1件を超える住所が欠落または誤りとなり、製品の信頼性は深刻に損なわれる
- 正確性が重要な救急サービスのような組織は、こうした品質問題の影響を特に大きく受ける可能性がある
- 政府が PAF のない新しいデータベースを引き続き進めるとしても、実用可能な水準にするには 5年半 かかる
- 費用は情報公開請求への回答で黒塗りにされ、公開されていない
狭かった検討範囲
- この研究は、PAF 公開が生み出し得る創造性やイノベーションといった 積極的な機会 を十分に検討していない
- OS は新しい PAF のないデータセットにサードパーティの住所データを含めていない
- 可能な代替案としては、Experian のような企業から数百万件の住所を購入して結合する方法があり得る
- 運転免許更新や HMRC の納税申告時に提出される住所を政府が集約し、新しい住所データセットに反映する方法も可能だったかもしれない
- 住所データの品質は完全性だけでなく、更新頻度、誤り修正の速さ、特定の住所カテゴリーの正確性にも左右される
PAF公開が現実的な結論である理由
- 研究結果は、Royal Mail のデータを使わずに PAF を再現することが 非常に難しい と示している
- PAF のない再構築は高コストで時間がかかり、全体としてより悪い製品につながる
- 郵便番号は Royal Mail が所有しており、新しいデータセットには含められないため、多くの潜在的ユースケースでデータが役に立たなくなる
- オープンな住所データの利点を得るには、政府が Royal Mail からこの中核的な国家データセットの統制権を取り戻す必要がある
- Postcode Address File をオープンデータとして公開することが、成長とイノベーションに向けた現実的な道として残っている
1件のコメント
Hacker Newsの意見
海峡の向こうのフランス政府は BAN（Base Adresse Nationale、国家住所データベース）を構築しており、フランス国内の詳細な郵便住所と正確な座標を収録している: https://adresse.data.gouv.fr/base-adresse-nationale
このデータベースの上で、検索インターフェース、自治体がデータを最新に保つためのインターフェース、住所検索とジオコーディング／リバースジオコーディング用の無料API（https://adresse.data.gouv.fr/api-doc/adresse）を提供しており、データはオープンライセンスでダウンロードできる
BANへのデータ投入は法律で義務付けられており、各地方自治体は Base Adresse Locale を作成してアップロードしなければならない
元データは、フランス版Royal Mailに当たるLa PosteやOpenStreetMapなど複数のソースから取得されている
問題は、その番号が少なくとも7つの構造物に対応しており、そのうち5つがアパート棟だということだ
その5棟はそれぞれ独立した出入口を持つ複数の階段室に分かれており、相互に連絡通路もないので、実質的には別々の建物のように機能している
私の棟は8階建てで各階に2戸あるが、ドア番号や文字表示がないため、訪問者には「N階の右側のドア」と説明しなければならず、1階の郵便受けに名前を付けるまでは郵便も受け取れなかった
こうした情報は、私の見る限り BANには入っていない
そのうえOpenStreetMapでは、BANの通り番号座標は私有地への進入路に面した道路中央分離帯を指しているが、実際の入口は1つではない
下の返信に補足すると、問題にしているのは座標系そのものではなく、それがどのように計算されたかについての前提である
私の知るある公益事業者は、2014年に公式サポート終了となったカスタムのネットワークモデリングソリューションに縛られており、古い住所取り込みツールが壊れたため、正社員3人が手作業で住所を作成・削除している
記事が指摘しているように、Royal Mailの民営化の際に起きた とてつもなく愚かな失策 だ。その時点なら非常に簡単に処理できたが、今でははるかに難しくなっている
仮に政府が今からやろうとしても、Royal Mailに数億ポンドの補償をせずに「PAFは今後無料」とする法律だけを通すことはできない
データの維持費も別途かかり、予算削減の時期には説得しにくい案件だ
たとえば家主がさまざまな理由でHMO化を届け出なければ、住民が郵便を受け取る際に問題が生じる可能性がある
住所に問題があるなら、まず地方議会に確認すべきなので、中央集権化と相性のよい部分でもある
政府はPAFを再構築するのが不可能だと結論づけた調査だけで500万ポンドを費やしており、数億ポンドならむしろ悪くない取引に聞こえる
研究の結論は、正確なデータベースを作るのは本当に難しいということだ。OSは、PAFなしのデータベースを実際に使えるデータセットにするには 420万件の誤った住所 を手作業で確認しなければならないと結論づけている
Royal MailがPAFで成功した秘訣、そしてRoyal MailだけがPAFを維持できる理由は、Royal Mailの職員が週6日、あらゆる配達地点まで歩いたり車で行ったりしているからだ
OpenStreetMapの貢献者が郵便ポストの位置についてRoyal Mailに情報公開請求をしたものの、その情報は地域の仕分け事務所でしか扱っていないという理由で結局拒否された事例と比較できる
これは昔から続く争いだ。長く覚えている人なら、15年前に開発者アクティビストの小グループが郵便番号データへの無料アクセスを提供する
ernestmarples.comを作ったときの衝突を覚えているだろう。サイト名は現代の英国郵便番号体系の発明者の名前に由来し、案の定、Royal Mail の法的措置の威嚇を受けてすぐに閉鎖された。
https://www.theguardian.com/technology/2009/oct/05/ernest-ma...
https://blog.okfn.org/2009/10/05/ernest-marples-uk-postcode-...
そのため、AB10 1JL が 57.14677,-2.09873 付近の領域に対応することを知りたいだけの人向けのデータは、すでに存在する。
PAF はより詳細なデータソースで、https://www.royalmail.com/find-a-postcode で見られるように、AB10 1JL に具体的に 102-104 Union Street, Aberdeen、82 Union Street、Timpson Shoe Repairs Ltd、Smart Mobile など、どの住所が含まれるかを示してくれる。
PAF は、ウェブサイトで 素早い住所入力 オプションを提供したり、住所データを検証したりするときに役立つ。
単に郵便番号を位置に変換したいだけなら、その情報はすでに公開されている。
ここでの簡単な解決策は、政府が Royal Mail に圧力をかけることだ。
郵便番号ファイルを無料で引き渡さないなら、政府が新しい番号体系を作り、次の地方税通知と一緒に新番号入りの住所カードを全世帯に送り、郵便番号を過去のものにすると言えばよい。
新しい番号体系は住宅ごとに一意にし、さらに チェック数字 も入れて、その番号だけで Amazon のようなサードパーティー物流業者が配達に使えるようにすればよい。
郵便番号を探したいときは、建築許可申請の地図で探している。
イングランドは確認していないが、少なくともスコットランドではそうで、たとえばグラスゴーの St Mungo's Cathedral の任意の項目はここにある: https://publicaccess.glasgow.gov.uk/online-applications/case...
たとえば区画分割、区画統合、同じ区画上の2軒の家、アパート建物、家が取り壊されてアパートになる場合などがある。
製造業で働いているが、これは部品番号の問題と非常によく似ていて、決して些細な問題ではないし、私の勤務先でも些細だと思って誤って扱っていた。
比較すると、オランダではすべての郵便番号データが 公開データ で、詳細な建物輪郭やほぼすべての関連情報も含まれている。
ほとんどのデータセットは https://app.pdok.nl/viewer で見られる。
私がよく遭遇する例は、Google Maps が私の住所（都市、通り名、番地）から位置を特定したあと、それを私の郵便番号へ逆変換しようとすることだ。
一見もっともらしいが、郵便番号ポリゴンは重なり得る と知っていれば破綻する。
私が住む建物はおおむね階ごとに郵便番号が異なるため、Google API を使うウェブサイトに住所を入力すると、私の郵便番号を 1234AB から 1234AZ に「親切にも」自動入力したり「修正」したりする。
すべての郵便番号が同じ座標を共有しているので、実質的には適当に一つ選んでいるだけだ。
郵便番号と番地の組み合わせは郵便受けを一意に識別できなければならないので、これは本当にまずい状況であり、私の建物で使われている郵便番号のまとまりの中で番地が再利用されていなかったのは、単に運が良かっただけだ。
英国については、郵便番号が60年物の体系なのでレガシーの残骸が生じるのは避けられない、という言い訳くらいはできる。
一方アイルランドは、10年も経っていない Éircode を導入する際に、中央データベースへのアクセスに料金がかかり、少量の照会を超えると有料になる不透明な形式を選んだ。
住宅しか扱わないので、公園や遊歩道に eircode を与えることもできない。
いかにも現代の政府が設計しそうなものだ。
IBM のような企業こそ、大規模プロジェクトで見られるああした全面的な混乱を設計しそうだ。
足りないのは、その郵便番号の中に含まれる実際の住所だ。
英国外の人向けに言うと、英国の郵便番号は、たとえば都市や地域ではなく、おおむね 1〜15棟の建物 程度まで絞り込める
実際には、ふつうは互いに近い住所のまとまりに近く、その地域を知っている必要があることも多くて、なかなか面白い。
[0] https://club.ministryoftesting.com/t/what-are-fun-postcodes-...
私たちの通りの大半は 1 つの郵便番号だ。昔は一戸建て住宅の通りだったので 30〜40世帯ほどだったはずだが、都市近郊で高密度化が進み、一部の住宅は分割されてアパートになり、大きな一戸建てが 6 軒の小さな家になった例もある。
買い取られて取り壊され、外見上は目立たないものの、以前とはまったく違う建物に置き換わったものもある。
私が住んでいるのは 4 階建ての専用集合住宅だが、見た目は大きな家のように見えるよう設計されており、1 階は道路面より低く、最上階前面には屋根裏の改装のように見える窓しかない。
それでもなお 1 つの郵便番号 のままで、おそらく 100 世帯以上と同じコードを共有している。
再符号化は混乱を招くわりにあまり価値がないので、たいてい行われない。
実際の郵便配達では、郵便番号は住所の人間が読みやすい便宜的要素にすぎず、機械が、ときには人の助けも借りて、任意の住所を固有の宛先コードに変換し、それを郵便物にバーコードとして印字する。
そのため Royal Mail にとって、郵便番号が 50 年前ほど説明的でなくても大きな問題ではない。
受け取った郵便物を数日分見てみると、仕分け工程で蛍光オレンジ色のバーコードが 2 つインクジェットで印字されている。
上側のコードは一時的な固有 ID に近く、仕分けシステム内のすべての郵便物に発行され、使い切ると再び最初に戻って、デバッグや統計に役立つ。
下側のコードは、ある意味で郵便番号の後継であり、同じ住所に配達されるすべての項目で共通し、別の住所とは区別される。
実際には、PAF が扱う Delivery Point を符号化したもので、Royal Mail の職員が郵便物を配達する地点を意味する: https://en.wikipedia.org/wiki/RM4SCC
このような「本物の」郵便番号を使っているため、Royal Mail は非現実的な「見栄」の郵便番号変更依頼もより受け入れやすい。
Dirt Town の裕福な人たちが隣接する高級感のある Upper Niceton の郵便番号を望めば、Royal Mail はそれを認めることができる。実際のチームは純粋な数字コードで作業しているため、その「Upper Niceton」の家々も、なお実際の所在地である Dirt Town として処理できるからだ。
どこかに「プログラマーが住所について信じている嘘」がありそうだ。
英国の新築住宅の入居者だった立場からすると、重要なのはファイルそのものだけでなく、そのファイルを更新する経路 でもある。
ほぼ 1 年間、住所を手入力しなければならなかった。郵便番号データベースや pets.com、cameras.com、looroll.com が持っている古い版が、私の隙間開発バンガローの現実に延々と追いつかなかったからだ。
私は忌々しい 8 ではなく 8A だった。あの暗い数か月のあいだ私の荷物を受け取ってくれた 8 番地のご婦人に感謝している。
これは tzdata に似ている。地政学的な時刻設定の歴史を集積しているから価値があるだけでなく、適時に予算内で丁寧に更新されるからこそ貴重な資源なのだ。
PAF.v2024_08finalfinal_v3_final.doc を解放するのはよいが、誰が継続して最新状態に保つのか。
嫌味で言っているのではなく、現実的に見ているだけだ。原文は正しい。私たちは PAF の十分な版を競争で打ち負かしたり、再現したり、流出させたりすることはできず、PAF とその全インフラ をできるだけ早く公共の手に取り戻し、その更新コストも負担する覚悟を持たなければならない。
ひどかった時代、10 年前には有名な信用調査会社から CD で受け取っていた。
その後、ひどくてバグだらけのソフトウェア経由で社内インストール版に「自動」更新する方式へ移ったが、そのソフトウェアは少し目を離すと止まってしまい、大した改善ではなかった。
今ではまったく別の、より良い会社に料金を払い、Web サービスとしてアクセスしている。
いまでは Web サイトに更新が反映される速さも、おおむね PAF のリリース周期程度にはなっていると思う。
最近変わっていなければ、PAF は Royal Mail が直接作っているのではなく、マン島にある AFD という会社に外注している。
現在のサービスについての唯一の不満は、価値に対してコストが見合っていないことだ。私たちの総コストは住所検索 1 回あたり平均約 30 ペンスだが、私たちの業務ではそれらの住所が実際にはほとんど使われない可能性が高い。
アイルランドの Eircode も本質的には同じ構造です。もともと所有権のある私的データセットとして作られ、現在は利用するにはアクセスライセンスを取得しなければなりません
Eircode は建物・住所・アパートごとに1つずつあるという点では郵便番号より優れていますが、連続性がないため、隣接する建物でもまったく異なる eircode を持ちます
記事ではショッピングセンターとアパート建物の難しさを強調していましたが、プロジェクトで大量の Eircode-住所を検証しようとした経験から見ても、たしかに問題です
さらに悪い問題は、誰かを現地に送って確認する方法がないことです。eircode はどこかに貼られている家番号のようなものではないからです
有効なアイルランドの住所には eircode 以外に番号がまったくないこともあり、eircode 自体も最近導入された非伝統的な追加要素であるという問題は別にあります
HSE National Ambulance Service(NAS) の National Emergency Operations Centres(NEOCs) は、Eircode と伝統的・口語的な住所を実際の建物と建物の出入口にリアルタイムで解釈する GIS パッケージを備えており、かなり印象的です
道案内を救急車やその他の資産にリアルタイムで送信できるため、2016年以降、住所の混同によって臨床サービスが遅延する事例は大幅に減りました
つまり、国家にはそれを実現する能力があります。Eircode は、限界のためにやむを得ずそうなったものではなく、私たちが一つの国として選択したものなのです