- プレイヤーが自分のレベルをデザインし、AIがレンダリング画像を生成する2Dプラットフォーマーゲームを作るプロジェクトの道のり。
- ブロックを描いた画像を使い、ピクセル画像で学習したモデルにControlNetのDepth modeを活用して生成を試みたが、結果は良くなかった。
- Scribble modeに切り替え、プロンプトを継続的に調整して少し良い結果を得た。
- タイルを繰り返す必要がないため、ピクセルモデルではなく子ども向けイラストモデルに変更し、繰り返しのない絵のような画像を得られた。
- 結果は良さそうだったが、Scribble modeの限界により、どこが地面なのか分からない画像があまりにも頻繁に出てきた。
- 再びDepth modeに戻ったが、ブロックの上に白い足場を追加で描き込むと、常にプレイヤーが立てる地面が明確に区別された画像を得られた。
- しかし、プロンプトを調整しても単調な背景しか得られなかった。
- これを解決するために、足場、ブロック、ブロックの柱、背景などの要素をすべて分けて深度を調整したところ、はるかに高品質な画像を得られた。
- 最後に、ブロックを正方形ではなくでこぼこした形に変更すると、地面が四角くならず、現実世界のような最終画像を得ることができた。
- Depth mapを持っているので、Depth mapベースで世界を分離し、適切な位置にオブジェクトとプレイヤーを配置。
- これらすべてを統合して、実際のゲームとして公開した。
2件のコメント
個人開発者がもっと増えそうですね。望ましい流れです
ControlNetは本当にすごいと思うし、近いうちにゲームでもAI革命が起きる日が遠くない気がします。