- データ分析開発者代替の夢は、SQLからAIまで50年にわたって繰り返されてきたが、ツールは変わっても専門家の必要性はなくならなかった
- 各時代のツールは実際に生産性を高めたが、ビジネス理解とモデリング判断という中核作業は自動化されなかった
- セルフサービス・セマンティックレイヤー・アナリティクスエンジニアリングはアクセス性を広げた一方で、新しい形の専門職を生み出した
- AIベースのツールはコード生成の速度を大きく高めたが、何を作るべきかを決める思考プロセスは人間の役割として残っている
- データ作業のボトルネックはタイピングやツールではなく思考と判断にあり、これは50年間変わっていない事実である
- この記事は「10年ごとに繰り返される開発者代替の夢」から着想を得て、データ領域向けに整理した文章
繰り返されるパターン: なぜいつも同じ夢が現れるのか
- 10年ごとに新しいツールが登場し、データプラットフォーム構築を単純化して専門家への依存を減らすと約束してきた
- ビジネス側はデータ提供の遅さに不満を抱え、データチームは終わりのないリクエストに圧倒される構図が続いている
- この循環が50年にわたって繰り返されてきた理由は、データ分析作業の本質的な性質にある
1974年: SQLと「英語で話すデータベース」の誕生
- SQLは非開発者でもデータを問い合わせられるよう設計されたが、実際には複雑な結合と集計の理解が必要だった
- ビジネスユーザーが自ら問い合わせるという理想は実現されず、新たな専門職が登場した
- データアクセスは容易になったが、依然として専門性は必要だった
1980年代: OLAPと第4世代言語の約束
- データ構造をビジネスの思考様式に合わせれば、ユーザー自身が分析できるというアプローチが広がった
- MOLAPサーバーは財務・計画部門に実際の生産性向上をもたらした
- 次元設計、性能最適化、統合作業には依然として専門知識が必要だった
- ツールは変わっても、専門家の役割は形を変えただけだった
1990年代: データウェアハウスと次元モデリング
- 次元モデリングは複雑さをETL層に隠し、ユーザー分析を単純化しようとする試みだった
- 大規模な投資にもかかわらず、多くのプロジェクトは遅延または失敗した
- ビジネスルールと例外を正確にモデリングする作業は、自動化できない領域として残った
2000年代: セマンティックレイヤーとセルフサービスBI
- セマンティックレイヤーは技術用語をビジネス言語へと抽象化した
- セルフサービスBIは可視化へのアクセス性を大きく高めた
- 定義の不一致とデータの混乱が新たな問題として現れた
- 中央管理とガバナンスが再び重要になった
2010年代: アナリティクスエンジニアリングとELT
- クラウドデータウェアハウスの普及により、SQLベースの変換が可能になった
- アナリストがデータパイプラインの一部を自ら構築できるようになった
- dbtはテスト・ドキュメント化・バージョン管理などの開発慣行をデータ領域に導入した
- プロジェクト規模が大きくなるほど、アーキテクチャと判断の重要性は維持された
AI時代: 何が変わり、何が変わらないのか
- AIは意図をコードへ移す機械的作業を非常に高速にこなす
- 次元設計のタイプ選択、指標定義、ビジネス上の合意形成には依然として人間の判断が必要である
- 開発速度は上がったが、プロジェクト全体の期間は思考と調整に使われる
- フィードバックループが短くなり、反復的な改善が可能になったことが最大の変化である
変わらない制約: 思考の複雑さ
- データウェアハウスはビジネスのモデルであり、正確な理解が不可欠である
- 単純な質問に見える要件の背後にも、数多くの定義と例外が存在する
- この複雑さはツールで取り除ける領域ではない
データリーダーにとっての意味
- ツールが専門家を置き換えるかどうかより、専門家の生産性をどれだけ高めるかが重要である
- 反復作業を減らし、高付加価値の判断に集中できるかを評価する必要がある
- 新しいツールは新たな技術的能力を要求する
なぜこの夢は続くのか
- 専門家排除の夢は、ツール革新を促進する原動力として機能してきた
- その夢は完全には実現しなかったが、その過程で実質的な価値を生み出してきた
- AIもまた専門家を置き換えはしないが、専門家をより効率的にする
これからの方向性
- 新しいツールを拒む理由はないが、期待値は現実的に設定すべきである
- 中核的な投資対象はツールではなく、ビジネスの複雑さを理解する人である
- データ分析とは結局、ビジネス理解を問い合わせ可能な形にする作業である
- 50年間変わっていない事実は、判断と思考が最大のボトルネックだという点である
まだコメントはありません。