最新のデータインフラのための新しいアーキテクチャ

 (future.a16z.com)
14 ポイント 投稿者 xguru 2020-10-19 | 4件のコメント | WhatsAppで共有

  • データの専門家たちへのインタビューをもとに整理した、最新のデータインフラストラクチャに関する情報と用語の解説

  • データ分野全般を理解するのに非常に役立つ全6章のPDF

1章で見る統合データインフラの概念図

  1. Sources : ビジネスおよび運用データを生成

→ OLTP DB via *CDC

→ Applications/ERP(Oracle,Salesforce,Netsuite) : ビジネスで発生するあらゆるデータ

→ Event 収集ツール(Segment,Snowplow) : サービス利用者のあらゆるイベントを収集

→ Logs : Webサーバーおよび各種サーバーのログ

→ サードパーティ API(Stripeなど) : 決済およびその他の利用APIで発生するデータ

→ ファイルとオブジェクトストレージ

  1. Ingestion and Transformation : 最近は ETL から ELT へ、Extract / Load / Transform

運用システムからデータを抽出(E)し / ストレージへ移し(L) / 分析用に変換(T)

→ Connector(Fivetran, Stitch, Matillion) : 複数のソースからDWへデータを移すツール

→ Data Modeling (dbt, LookML) : データモデリングおよび変換

→ Workflow Manager (Airflow, Dagster, Prefect) : データフロー自動化のためのオーケストレーター / スケジューラー

→ Spark Platform (Databricks, Amazon EMR) : 分散処理のための高性能クラスタリングプラットフォーム

→ Python Libs : データ分析ライブラリ - Pandas、AWSインターフェース - Boto、大規模並列処理向け Dask、分散処理向け Ray..

→ Batch Query Engine (Hive) : ビッグデータクエリ

→ Event Streaming (Confluent/Kafka, Pulsar, AWS Kinesis) : リアルタイムメッセージング/ストリーミングプラットフォーム

→ Stream Processing (Databricks/Spark, Confluent/Kafka, Flink) : ストリーミングデータを収集・処理・分析

  1. Storage : クエリおよび処理可能な形でデータを保存。低コスト、拡張性、分析作業に対して最適化。

→ Data Warehouse ( Snowflake, BigQuery, Redshift ) : 分析可能な情報を集約した統合データ保存庫

→ Data Lake : DWとは異なり、精製していない構造化/非構造化の生データを保存

Databricks/Delta Lake(Spark や S3/HDFS などで ACID トランザクションを可能にするデータレイク),

Apache Iceberg(ペタバイト単位を保存する超大型テーブルフォーマット、Netflix が開発),

Apache Hudi(効率的なデータレイク、Uber が開発), Hive Acid

→ Apache Parquet - カラムベースの保存フォーマット

Apache ORC - Optimized Row Columnar、カラム単位で記録しインデックスもあわせて記録

Apache Avro - 行単位で記録、書き込みに適し、スキーマ進化に適合

→ AWS S3(Simple Storage Service), GCS(Google Cloud Storage), ABS(Azure Blob Storage), HDFS(Hadoop Distributed File System)

4&5. Historical & Predictive : アナリストおよびデータサイエンティストがインサイトを導き出すためのインターフェース(クエリ)を提供

Historical : 過去に何が起きたかを説明。ごく最近(ほぼリアルタイム)も含む

Predictive : 将来予測、データベース/ML アプリケーション

→ Data Science Platform (Databricks, Domino, Sagemaker, Dataiku, DataRobot, Anaconda, ...)

→ Data Science and ML Libraries ((Pandas, Numpy, R, Dask, Ray, Spark, Scikit-learn, Pytorch, TensorFlow, Spark ML, XGBoost, )

→ Ad Hoc Query Engine (Presto, Dremio/Drill, Impala)

→ Real-time Analytics : Imply/Druid - リアルタイム分析、Altinity/Clickhouse - OLAP、Rockset - 商用リアルタイム分析エンジン(高性能KV組み込みDBである RocksDB ベース)

  1. Output : データ分析結果を内/外部に見せるツール。作成したデータモデルを運用システムとアプリケーションに埋め込む

→ Dashboards : Looker, Apache Superset, Mode, Tableau - Business Inteligence ツール

→ Embedded Analytics : Sisense, Looker, cube.js - BI ツールを内部システムに埋め込み。API ベース。内部分析アプリを作成可能

→ Augmented Analytics : Thoughtspot, Outlier, Anodot, Sisu - AI を使って自動で分析してくれるツール

→ App Frameworks : Plotly Dash, Streamlit - ML App を作れるようにするフレームワーク

  1. その他

→ Metadata Management (Collibra, Alation, Hive Metastore, DataHub, ...)

→ Quality and Testing (Great Expectations)

→ Entitlements and Security (Privacera, Immuta)

→ Observability (Unravel, Accel Data, Fiddler)

  1. 3つの主要分野別ブループリント

→ 最新のビジネスインテリジェンス(BI)

→ マルチモーダルデータ処理

→ AI と ML 分野

  • Change Data Capture : OLTP の変更データをリアルタイムでさまざまな別のストレージ(DB,DW)にコピー

関連記事

4件のコメント

 
xguru 2020-12-08

ここに挙がっている各サービスとオープンソースを一つひとつ説明するYouTube動画を作ってみました。

各回10分前後に分かれているので、上の内容をもう少し詳しく知りたいときに参考にしてください。

最新データインフラを理解する by GeekNews
 
inthelife 2020-10-21

翻訳版のリンクが間違っていました（笑）。以下のリンクをご参照ください。

https://drive.google.com/file/d/…
 
xguru 2020-10-21

わあ、ありがとうございます。私もこの資料がとても気に入っていて、メイン図表の別途説明資料（動画）も作ってみています。
 
inthelife 2020-10-21

https://drive.google.com/file/d/…

内容が良さそうだったので、原文を簡単に翻訳してみました ^^