Show GN: AIエージェントがUnity/Godot/Unrealエディタを直接制御するOpenClawプラグイン
(github.com/TomLeeLive)ゲームエンジン内でAIエージェントが直接シーンを修正し、オブジェクトを生成し、ゲームをテストします。
企画書をMarkdown文書で作らせて、AIエージェントがどこまでできるのか気になって作りました。
家の外からTelegramで作業指示ができて、スクリーンショットを撮って送ってほしいと言えば、エージェントが送ってくれます。
OpenClaw向けのゲームエンジンプラグインを3種類作りました:
Unity Plugin (~100個のツール)
• GameObject/Componentの作成・修正・削除
• Transform、Physics、Materialの操作
• Playモード制御 + キーボード・マウス入力シミュレーション
• エディタモードでも動作 (Playモード不要)
Godot Plugin (30個のツール)
• シーン/ノード管理、リソース操作
• エディタ制御、スクリプト読み取り
• Playモード + 入力シミュレーション
Unreal Plugin (40+個のツール)
• Actor/Componentの作成・修正・削除
• Blueprint、レベル管理
• Play/Stop/Pause制御 + 入力シミュレーション
動作方式:
• 各エンジンのパッケージマネージャでインストール (Unity: UPM, Godot: AssetLib, Unreal: Marketplace)
• プラグインがエディタ内部でHTTPサーバを実行
• OpenClawが接続してエディタAPIをエージェントツールとして公開
• チャットで「敵キャラクターを3体配置して」 → 実際にシーンへ配置
使用例:
• 「このシーンのすべてのライトを見つけて、明るさを50%に下げて」
• 「プレイヤーキャラクターの前に壁オブジェクトを生成して」
• 「ゲームを実行してWキーで10秒間移動し、スクリーンショットを撮って」
ChatGPTでコードをコピーして貼り付けるのではなく、AIがエディタを直接操作します。
一人で開発し、すべてオープンソース (Apache 2.0) です。
• Unity: https://github.com/TomLeeLive/openclaw-unity-plugin
• Godot: https://github.com/TomLeeLive/openclaw-godot-plugin
• Unreal: https://github.com/TomLeeLive/openclaw-unreal-plugin
そして、OpenClaw向けのゲーム開発特化AIペルソナもあります: https://clawsouls.ai/souls (gamedev-mentor, game-designer など)
質問やフィードバックを歓迎します。
2件のコメント
まだ使っていませんが、既存のMCPたちと違いはあるのでしょうか？
既存のMCPサーバーは、Claude DesktopやChatGPTのようなLLMクライアントに接続して使う構成のため、エディタの前に座っているときしか使えません。
このプラグインはOpenClawエージェントと連携するため、24時間常時接続が可能で、Telegramなどのメッセンジャー経由でリモートからエディタを操作できます。たとえば外出中に「さっきのシーンで敵のスポーン位置を (10, 0, 5) に移しておいて」と送ると、AIがエディタ上で直接処理してくれます。
エディタの操作範囲も、コードの読み書きレベルではなく、Inspectorを直接制御するレベル（オブジェクト生成、Transform変更、Playモードのテストなど）です。