1 ポイント 投稿者 catch88 7 시간 전 | まだコメントはありません。 | WhatsAppで共有

ローカルエージェント(Hermes/OpenClaw)と会話するためにTelegramタブを一日中開きっぱなしにしておくのが嫌で、その代わりになるアバターを作りました。モニターに常駐するビデオ通話型のウィンドウ2つ(アバター+チャット)で、エージェントの応答を読むのではなく「演じる」ようにしています。

  • アバターにはランタイムGPUを使いません。リアルタイム推論の代わりに、事前レンダリングした約30本のクリップをLLM出力の感情タグで選んで再生します。[working]なら眼鏡をかけてメモを取り、[confirm]タグでは承認/取り消しが表示されて、取り返しのつかない作業の前に確認できます。コードやログは読み上げず、カードとしてレンダリングします。GPUは完全にモデル用です。

  • エージェントを置き換えるのではなく、コネクターとして接続します。ゲートウェイがアプリの立ち上げたローカルWebSocketへdial-outする構成なので、エージェント側から見ると単にチャネルが1つ増えるだけです。エージェントのスラッシュコマンドメニューもそのまま受け取って表示します。

  • 音声は双方向対応: Edge TTS(ローカルエンジンに置き換え可能)+ Silero VAD・faster-whisper。

  • オープンコア(MIT)。無料のスターターアバターが同梱されているので、クローンすればすぐ動きます。そのアバター自体も無料のローカルツール(Animagine XL → HunyuanVideo 1.5 i2v)だけで作られており、ドキュメントに書かれた制作方法が実際に機能することを示す例でもあります。

作りながら分かったこと: 動画拡散モデルで細かな表情をプロンプトから作るのは思った以上に難しいです。Wan 2.2 5Bは口を大きく開ける笑顔はできても、「心配」や「怒り」のように眉で表現される感情はただの無表情になり、HunyuanVideo 1.5(8.3B段階蒸留)に変えると、同じ12GBカード上でより高速なうえ表情もきちんと出ました。

現在はWindowsビルドのみで、リアルタイムのリップシンクはありません(事前レンダリング方式のトレードオフです)。

まだコメントはありません。

まだコメントはありません。