データ品質について - 基本原理

データには生来の品質はなく、特定のユースケースでデータが生み出す価値が大きいほど、品質が高いと評価できる。

データ品質は、個別データ／データ集合全体／目的適合性／事業成果の4段階で構成され、下位段階は上位段階を可能にし、上位段階は下位段階に投資する理由を与える。

正確な売上データも、会計には適していてもリアルタイム経営や将来売上予測には不適切な場合があり、同じデータの品質評価でも利用者と目的によって変わる。

属性チェックのみに集中すると、完璧なデータを作っても事業価値を生み出せず、逆に成果だけを追って基礎品質を無視すると、持続可能でないシステムが作られる可能性がある。

データ品質管理は、データを整備する作業にとどまらず、データ利用→意思決定の変化→事業結果という経路を測定し、その結果に応じて投資を調整する過程まで含むべきである。

標準定義だけでは不十分な理由

ISO 8000は高品質なデータを、明示された要求事項を満たすデータと定義しているが、正確ではあっても実際の判断には役立ちにくい循環的定義である。

ISO 25012は、正確性／完全性／一貫性などを含む15の属性でデータ品質を定義している。

個別データの状態を点検するには有用だが、そのデータが実際の用途や事業成果に貢献するかどうかは扱えない。

同じデータを複数の実務担当者が異なる評価をするのは、品質の異なる段階と使用目的を基準に判断しているためである。

データ品質はデータ価値から生まれる

データには内在的価値はなく、そのデータで何ができるかが価値を決める。

データ資産の価格を決める方法
で用いた論理は、品質にも適用できる。

データ品質とは、データの価値を高める特性である。

データ価値は使い方の関数であるため、データ品質も使い方によって決まる。

品質を高める目的は、データでより多くのことを行うこと、同じことをより良く・速く・安く行うこと、あるいはこれまでできなかったことを可能にすることにある。

1段階目: 個別データ品質

粒度レベルの品質（granular quality）は、データベースのレコード／文／質問応答ペア／ラベル付けされたサンプルのような個別のデータ単位を評価する。

主な評価属性には、正確性／精密性／鮮度／形式適合性／内部一貫性／妥当性／出所／解釈可能性／信頼性が含まれる。

各属性は、他のレコードを見なくても個別単位だけで評価できる。

ただし、すべての評価は使用文脈を前提とする。

何を基準に真とするのか

どの時点を基準に最新とするのか

どのような方法で利用可能なのか

どの文脈で一貫しているのかを定める必要がある。

売上データの個別品質

契約条件／更新／割引／一時的売上と継続売上を誤って解釈すると、個別の売上項目の段階から誤りが生じうる。

正確に記録していたとしても、マーケットプレイス売上を総額（gross）と純額（net）のどちらで認識するかは事業構造によって異なる。

直接価値を提供し、価格を決め、サービス責任まで負うのか

買い手と売り手をつなぐ仲介者に近いのかによって判断は変わる。

監査人同士でも異なる結論に達することがあり、正確性そのものも使用目的と会計上の文脈から切り離せない。

2段階目: データ集合全体の品質

すべての個別レコードが正確でも、データ集合全体の品質（aggregate quality）が高いとは限らない。

全体レベルでは、次の属性を評価する必要がある。

範囲と欠落の有無

重複除去

データの粒度

代表性とバランス

レコードとラベルの間の一貫性

分布と集計統計

データ量と十分性

時間的連続性

他データとの結合可能性

時間と空間によるドリフト

これらの属性は個別データには見えず、データ全体の関係性と分布に現れる。

データがすべて存在するか／十分に整備されているか／現実を反映しているか／時間と空間にわたって安定しているかを確認しなければならない。

売上データの全体品質

個々の売上イベントが正確に記録されていても、次のような問題が残りうる。

過去データの途中で売上定義が変わる

一部の売上が欠落する

同じ売上が重複計上される

異なる集計結果が一致しない

現在の顧客を完璧に反映したデータは、会計や報告には高品質でも、将来の顧客構成と異なるなら、拡張売上予測には低品質である可能性がある。

データ集合の代表性は、データそのものではなく、適用しようとする対象を基準に評価すべきである。

3段階目: 目的適合性

目的適合性（fitness for purpose）は、データ属性ではなく、データと実際のアプリケーションの間の相互作用を評価する。

財務諸表は広告キャンペーンには適さず、顧客プロフィールは株式分析には適さないが、用途を変えればそれぞれ不可欠なデータになりうる。

情報面での適合性

データが、解決しようとしている問いに答えられるかを評価する。

関連性／適切性／十分性／必要性が含まれる。

データが正確であることと、必要な情報を提供することは別の問題である。

運用面での適合性

実環境でデータを効果的に使えるかを評価する。

可用性／ライセンスおよび規制遵守／相互運用性／リスクに対するリターンが含まれる。

情報が十分でも、必要な時点でアクセスできない、あるいは法的に利用できないなら、目的に適しているとは言えない。

売上データの目的別の違い

月末売上を完全に確定するには、優秀な財務チームでも数日を要するが、CEOは売上が予想から外れているその月のうちに、投資／コスト削減／採用／解雇を判断しなければならないことがある。

監査人にとって高品質な確定売上は、リアルタイム運用には遅すぎるデータかもしれない。

詳細な財務資料も、利用者ごとの要件に合わない場合がある。

取締役会は重要な要約を求める。

CMOはマーケティング貢献度を求める。

営業チームは成果報酬の規模を求める。

財務チームにとって品質向上につながる詳細情報／微妙な差異／注意事項／多様な分析軸は、他の利用者にとってはかえって使いやすさを下げる可能性がある。

4段階目: 事業成果の品質

個別品質／全体品質／目的適合性がすべて優れていても、データが実際の事業価値を生むとは限らない。

事業成果の品質（business-outcome quality）は、データが企業の結果をどれだけ改善したかを評価する。

評価スコアの向上

企業売上の維持率向上

リスク調整後収益率の改善

顧客転換率の上昇などが対象になりうる。

これは次の3つの問いに分けられる。

データは実際に使われたか

使った後に何が変わったか

その変化は投資に見合う価値があったか

利用と結果の測定

データ利用の有無は、導入率／意思決定への影響／行動変化量によって測定する。

結果の変化は、前後差／正確な寄与度／変化の重要性によって評価する。

変化の価値は、投資収益率／結果が現れた時点／持続性／リスクまで考慮しなければならない。

高品質な売上データが失敗する場合

正確で偏りがなく、利用者要件にも合った売上データをもとに営業の成果報酬制度を変えても、期待した事業結果が出ないことがある。

営業チームが新しい計算式を攻略すると、次のような行動が起こりうる。

加速報酬を得るために将来売上を前倒しする

利益率を損なう割引を提供する

長期価値の高い難しい契約よりも、締結しやすい低品質な契約を追う

データ自体はすべての下位段階で高品質でも、それを用いた制度や行動変化が事業価値を破壊することがある。

最上位段階では、データ自体をさらに整備するより、次のプロセスが必要になる。

データが生み出す価値を、より良い仮説として定義する

データ利用から行動と結果につながる経路を計測する

実際の結果に応じて投資を縮小または拡大する

品質のはしご

4つの段階は、互いに独立したチェックリストではなく、順序と依存関係を持つはしごである。

目的適合性と事業成果に到達するには、まず個別データとデータ全体の品質が整っていなければならない。

逆に、下位段階の品質はそれ自体では価値を生まず、上位段階の結果があって初めて投資理由が生まれる。

下位段階では、属性チェックに没頭するあまり、事業ユースケースを忘れていないか確認すべきである。

上位段階では、結果に気を取られるあまり、基本的なデータ衛生を無視していないか確認すべきである。

既存標準の失敗パターン

ISO 25012的なアプローチは、多数の品質属性を測定しても事業が改善しない、チェックリストの罠に陥る可能性がある。

ISO 8000的なアプローチは、良い結果を生むデータが良いデータだという定義にとどまり、具体的に何を改善すべきかを示せない。

品質のはしごは、下位段階で実行可能な点検と、上位段階での価値判断を1つの構造としてつなぐ。

異なる段階で生じる衝突

データ品質をめぐる議論は、異なるはしごの段階で話しているときにしばしば起こる。

データ運用エンジニアは正確なラベルとレコード状態を優先するが、そのデータが事業で使われないこともある。

CEOは理想的な運用モデルと事業成果を重視するが、そのモデルは信頼しにくい入力データの上に築かれているかもしれない。

問題に直面したとき、一方は詳細データの修正を探し、もう一方は新たな戦略を探すが、どちらか一方だけではすべての問題を解決できない。

段階を飛ばす3つの方法
ローンチの失敗

下位段階に過度に集中し、個別品質／全体品質／目的適合性を完璧にしても、事業価値をまったく生み出せない場合である。

下位段階は具体的で測定可能であり、直接改善しやすいため、組織が最も集中しやすい。

測定可能な項目が多いという理由で、実際の成果よりもデータ整備作業そのものが目標になりうる。

基盤の失敗

下位段階を無視し、事業価値だけを直接最適化する場合である。

目標が明確で、フィードバックサイクルが十分に速ければ一時的には機能することもある。

正確性／出所／鮮度に問題があっても結果さえ良ければよい、というアプローチは一般に持続可能ではなく、やがて基礎データの問題が表面化する。

出所を品質の証拠として使う

信頼できる外部ソースに、個別データおよびデータ集合全体の品質を事実上保証させることで、内部検証への投資を減らせる。

特定業界に特化したベンダーを選べば、目的適合性の検証負担も軽減できる。

ただし、事業価値はデータを購入した組織自身が作り出さなければならない。

データソースへの信頼は自動的には生まれない。

時間／リソース／繰り返し得られる結果を通じて形成される。

データが継続して機能するあいだ維持される。

期待した結果を出せなければ急速に弱まる。

次の段階

データ品質は、データ自体に存在する絶対的な属性ではなく、使用目的と価値創出の過程の中で現れる。

効果的な品質管理には、4つの段階すべてを確認しつつ、どれか1つの段階にとどまらないことが求められる。

続編では、AIが既存のデータ品質に関する直感をどのように変えるかを扱う予定である。