PyO3を用いたRustとPythonの可変データ共有手法

結論 (Conclusion)

PyO3がRustのライフタイム（lifetime）を使用する構造体を直接Pythonに公開できないことは、最初は制約のように見えるかもしれません。しかし、Rust標準ライブラリとPyO3は、この制約を乗り越えるための強力なツールを提供しています。std::mem::takeとstd::mem::replaceは、可変参照（mutable reference）と所有値（owned value）を巧みに扱えるようにし、ArcとMutexは共有される可変データをPythonに公開する際に非常に有用です。特にPyO3のMutexExtは、Pythonとともにミューテックスを使う際にデッドロックを防ぐための不可欠なツールです。

---

主な内容の要約

この文書は、Djangoのテンプレート言語をRustで再実装するプロジェクトにおいて、RustとPythonの間で可変データを共有する際に直面した技術的な問題と、その解決過程を段階的に説明しています。

• 背景: Djangoテンプレート言語は、contextというオブジェクトを使ってテンプレートに動的データを提供します。プロジェクトのRust実装では、このcontextをRust構造体として定義しており、テンプレートタグをレンダリングする際に可変参照（&mut Context）として渡す必要があります。

• 初期の問題: Rustコードの可変参照（&mut Context）をカスタムタグ実行のためにPython関数へ渡す必要があります。しかし、PythonはRustのライフタイムを理解せず、Rust-Python連携ライブラリであるPyO3は所有権のある値（owned value）を要求するため、参照を直接渡すとコンパイルエラーが発生します。

• 解決過程:

  1. 所有権の問題の解決: std::mem::takeを使って&mut Contextから一時的に所有権を取り出し、Pythonに渡せる所有されたContextオブジェクトを生成します。Pythonコードの実行後には、std::mem::replaceを使って処理済みのContextを元の参照位置へ戻そうとします。
  2. 'Moved Value'エラーの解決: しかしこの過程で、ContextオブジェクトがPython関数へmoveされた後に再利用しようとすると、"use of moved value"というコンパイルエラーが発生します。この問題を解決するために、Arc（Atomic Reference Count）を導入してContextを包みます。これにより、所有権を移さずにPythonへ複製された参照（clone）を渡せるようになります。
  3. Pythonが参照を保持し続ける場合の対処: PythonがContextへの参照を保持し続ける場合、Arc::try_unwrapによる所有権の回収に失敗することがあります。この場合、Context内部データをディープコピーするclone_refのようなフォールバックメソッドを実装し、データを複製します。
  4. Pythonでのデータ変更を許可: 最終的に、PythonコードがContextを読むだけでなく変更もできるようにMutexを導入します。Arc<Mutex<Context>>構造を使うことで、複数スレッドから安全にデータへアクセスし、修正できることを保証します。このとき、Pythonインタープリタとのデッドロックを防ぐために、PyO3が提供するMutexExtのlock_py_attachedメソッドを使用します。