17 ポイント 投稿者 xguru 2021-05-04 | 1件のコメント | WhatsAppで共有

Pandas の代わりに SQL でデータ分析を行う例

  • SQL vs Pandas の性能/メモリ比較

  • 基本

→ Common Table Expressions

→ データ生成

→ ランダム生成

→ ランダムに選択する

→ サンプリング

  • 記述統計

  • 小計の作成 : Rollup, Cube, グループ化

  • 累積集計 : Window 関数, Sliding Window

  • 線形回帰

  • 補間(Interpolation)

  • ビニング(Binning)

1件のコメント

 
xguru 2021-05-04

データ分析全体を置き換えるというよりは、SQLで前処理してデータ量を減らし、メモリを多く消費するPandasを軽くする用途と考えるのがよさそうですね。