Stable Diffusionで3Dキャラクターモデルを作る（Tales of Syn）

Tales of Synは、ゲーム開発の過程でNPCとの会話、レベル（マップ）の背景画像、キャラクター制作に至るまで、生成AIを幅広く活用している。この記事では、Stable Diffusionで3Dキャラクターモデルを作る工程（ワークフロー）を紹介する。

[作業工程]

1. iPadでArtstudio Proを使ってスケッチしたものをAutomatic1111 WebUIで変換する。

2. 生成時に複数作成し（1回の生成で約9枚を生成し、これを繰り返す）、結果物をPhotoshopでレイヤーとして重ねた後、気に入った部分だけを選んで組み合わせる。

3. 1番の初期スケッチをZBrushでDynaMeshを使ってモデル化する。

4. 2番の最終キャラクター画像をSpotlightで読み込み、RGBおよびZadd offに設定したブラシツールを使って、画像情報を頂点カラーに保存されたメッシュ上にポリペイントする。

5. UVMasterでUVを作成し、Substance PainterでNormal Mapを作って、Unity URP用に書き出す。

[今後の改善点]

• 類似した別のキャラクターに再利用できる細分化されたベースメッシュの作成

• より高品質なテクスチャのために、Substance Designerで2回目のテクスチャ投影パスを実行

• そのキャラクターに合ったカスタムアニメーションの制作

• ワークフローを自動化または改善するための別のAIプロセスを探る