データエンジニアリング・ハンドブック

• データエンジニアになるためのあらゆる資料を集めたRepo
  • プロジェクト/面接/書籍/コミュニティ/ニュースレターのまとめ
• 初めてなら、まずは 2024 データエンジニアリング入門ロードマップ を読むところから始める
• 必読書3冊と主要書籍25冊
  • 堅牢なデータエンジニアリング
  • データ指向アプリケーションデザイン
  • 機械学習システム設計
• 必ず参加しておきたいコミュニティ5つと主要コミュニティ10数個
  • [DE] DataExpert.io Community Discord
  • [DE] Data Talks Club Slack
  • [DE] Data Engineer Things Community
  • [ML] AdalFlow Discord
  • [ML] Chip Huyen MLOps Discord
• データエンジニアリング関連の技術企業とブログ
  • カテゴリ別の企業整理: Orchestration, Data Lake/Cloud, Warehouse, Data Quality, 教育, Analytics/Visualization, Data Integration, Modern OLAP, LLM応用, リアルタイムデータ
  • ブログ: Netflix , Uber , Databricks , Airbnb , Amazon AWS Blog , Microsoft Data Architecture Blogs , Microsoft Fabric Blog , Oracle , Meta , Onehouse
• データエンジニアリングのホワイトペーパー
  • A Five-Layered Business Intelligence Architecture
  • Lakehouse:A New Generation of Open Platforms that Unify Data Warehousing and Advanced Analytics
  • Big Data Quality: A Data Quality Profiling Model
  • The Data Lakehouse: Data Warehousing and More
  • Spark: Cluster Computing with Working Sets
  • The Google File System
  • Building a Universal Data Lakehouse
  • XTable in Action: Seamless Interoperability in Data Lakes
  • MapReduce: Simplified Data Processing on Large Clusters
• 主要なソーシャルアカウントとポッドキャスト
• 必読ニュースレター4つと、そのほか20以上のニュースレター
  • DataEngineer.io Newsletter
  • Joe Reis
  • Start Data Engineering
  • Data Engineering Weekly
• 各種教育コース