LL3M: 大規模言語モデルベースの3Dモデラー

• LL3Mは 複数の大規模言語モデルを用いてPythonコードを自動生成し、Blenderで3Dアセットを生成・編集する
• ユーザーのテキスト指示に応じて、創造的かつ精密な形状を直接作り、複雑な幾何学的操作をコードで実装する
• 既存の3Dモデル生成ツールとは異なり、制約のないアセット生成と細かなインタラクションを提供する
• 生成されたBlenderコードは明快でパラメータの透明性が高く、ユーザーやエージェントが容易に修正したり反復的に改善したりできる
• 一貫したスタイル化、マテリアル編集、階層構造の実装など、幅広い3Dアセット処理の可能性を示す

---

LL3Mの概要

• LL3Mは、複数の大規模言語モデル（LLM）エージェントがPythonコードを記述し、Blenderで3Dアセットを生成・編集する革新的なフレームワーク
• ユーザーがテキストで指示を出すと、LL3Mは創造的な形状生成と精密な幾何操作を自動化し、高水準のコードを3D表現の手段として用いることで、反復的な改善と共同作業を可能にする
• コードは明確に説明され、さまざまなパラメータや構造が透過的に示されるため、追加編集やユーザーの継続的なフィードバックも容易

パイプライン概要

• パイプラインは3つの主要段階（初期生成、自動改善、ユーザーフィードバックベースの改善）で構成される
  • 初期生成段階では基本的な形状を作る一方で、LL3Mが論理的に不適切な構造や単純な幾何要素を自動検出して改善する
  • 第2段階では、より洗練された自動修正を加え、複雑な形状や関係性も反映する
  • 最終段階では、ユーザーの追加編集リクエストを受け入れ、インタラクティブで反復的な3Dアセット生成を実現する
• 各段階はエージェントの役割分担に基づき、反復的かつ段階的な向上方式を実装する

ギャラリーと性能

• 多様な形状生成: 風車、ピアノ、ドラムセットなど、複雑な配置と細かなディテールをコードで実装
• 一貫したスタイル適用: 同じ "steampunk" 指示語を複数のメッシュ（帽子）に適用し、共通スタイルを維持しながら変化のある結果を生成
• マテリアル編集対応: たとえば刃の部分だけを別個のシェーダーノードとして定義し、材質を変更できる

コードの解釈可能性

• 生成されたコードには構造的ロジック、明確な変数名、コメントが含まれており、理解と修正が容易
• 例: キーボードパターンのロジックやキー幅の変数などを直接変更可能
• Blenderノードとパラメータがそのまま示されるため、色やパターンといった視覚属性を直感的に調整できる

コードの再利用性と汎用性

• 異なる形状同士でもループ、モディファイア、ノード設定といった上位コードパターンが再利用される
• これにより、さまざまなプロンプトに対してモジュール化され修正可能なコード生成が可能

シーンと階層構造

• 複数のオブジェクトを生成し、インスタンシング・ペアレンティングによって空間的関係を自動配置する
• 例: ランプのような複合オブジェクトを生成する際、親子関係の構造を反映し、変換が階層的に伝播するようにする
• 各パーツには意味のあるセマンティックネームが付与され、Blenderのscene graphで効率的に管理できる