2020年のデータ＆AIランドスケープ

FirstMarkのVCであるMatt Turckが、1枚の画像でまとめた2020年のデータ＆人工知能業界マップと解説

• Data Infraの主要トレンド

→ 最新のデータスタックが主流に : Snowflake,BigQuery,RedShift,DBT,Fivetran,Stitch,Looker..

→ ETL vs ELT

→ データエンジニアリングの自動化

→ データアナリストの台頭

→ データレイクとデータウェアハウスの統合? = Data Lakehouse または Unified Analytics Warehouse

→ 複雑さは依然として存在 :

⇨ リアルタイムストリーミング技術への需要増加

⇨ オーケストレーションエンジン : Airflow と Luigi から始まり、次世代エンジンである Prefect, Dagster, Kedro, Metaflow など

⇨ Data Lineage & DataOps : LinkedIn (Datahub), WeWork (Marquez), Lyft (Admunsen), Uber (Databook)

• Analytics & Enterprise AIの主要トレンド

→ データサイエンスおよび機械学習プラットフォーム(DSML)の好況期

→ MLが実際にデプロイおよび組み込みされる

⇨ MLOps

⇨ AI Governance, AI fairness

⇨ Decision Science (optimization, simulation)

→ NLPの年 : GPT-3, BERT, ELECTRA

• 主な投資、エグジット、IPO

→ IPO : Snowflake, Palantir, Datadog, Sumo Logic, Dynatrace, Cloudflare

→ M&A : ARM(NVIDIA), SignalFX(Splunk), Habana Labs(Intel), Fitbit(Google), Moovit(Intel)

→ 小規模だが興味深い買収 : MapR(HPE), HortonWorks(Cloudera), Arcadia Data(Cloudera), Redash(Databricks)..