Jupyter Notebookからスケーラブルなシステムへの移行ガイド

PyCon US 2025 の発表内容です。

Jupyter Notebookからスケーラブルなシステムへの移行ガイド

Jupyter Notebookは、データ探索、可視化、教育などの対話型分析に非常に有用なツールです。しかし、プロダクション環境にコードをデプロイし、再利用性や自動化、堅牢性が重要になる段階では、ノートブックの限界が見えてきます。この記事では、Jupyter Notebookで書かれたコードを、保守しやすく再現性の高いスケーラブルなシステムへ移行するプロセスと、そのための重要なノウハウを紹介します。

ノートブックの長所と短所

• 長所: コードとテキストを一緒に見ながら結果をすぐ確認できるため、探索的データ分析や教育に最適です。 [00:03:18]
• 短所: セルの実行順序によって変数の状態が変わることがあり、バージョン管理が難しく、コードの自動化や再利用もしにくいため、スケーラビリティの妨げになります。 [00:04:24]

いつスクリプトへ移行すべきか？

• プロダクション環境にコードをデプロイする必要があるとき
• 他の人がコードを再利用する必要があるとき
• コードを自動実行する必要があるとき
• コードの堅牢性が重要なとき
• ノートブックが複雑になりすぎたとき [00:05:32]

移行のための重要なステップとツール

1. コードの抽出と変換

• NBConvert & Jupytext: ノートブックのコードを Python スクリプトへ簡単に抽出できます。特に Jupytext は、ノートブックとスクリプト間の同期機能も提供しており便利です。 [00:10:44]

2. リファクタリングのプロセス

• 機能単位で作業を分離: ノートブックの各ステップを特定し、それぞれに対応する関数を作ってコードをその関数へ移します。 [00:12:52]
• テストコードの作成: 単体テストや統合テストを書いて、コードの正確性を保証します。これは特に、コピー＆ペーストの過程で起こり得るエラーを防ぐうえで重要です。 [00:13:08]
• 要件と依存関係の管理: モジュールとその依存関係を明確にし、別の環境でもコードを簡単に実行できるようにします。 [00:13:15]
• CI/CD の導入: CI/CD（継続的インテグレーション／継続的デプロイ）パイプラインを構築し、デプロイプロセスを自動化します。 [00:13:15]

コード品質向上のための追加のヒント

• 一貫したコード書式: コードフォーマッタを使って一貫性を保ちます。
• ドキュメント化: コードの目的と使い方を明確に説明するドキュメント作成を習慣化します。
• 設定の分離: 設定や構成情報を別ファイルに分けて管理します。 [00:21:11]

中核となる能力と考え方の転換

• モジュール化: コードを再利用可能なモジュール式の機能へ分解する能力が重要です。
• 自動化: ワークフローを自動化して効率を高めます。
• テスト駆動のリファクタリング: テストを通じて機能の安定性を保ちながらコードを改善します。

探索段階では Jupyter Notebook の柔軟性を積極的に活用しつつ、プロダクションコードは堅牢で再現可能な自動化スクリプトへ移行するという考え方を持つことが重要です。 [00:22:16]