talk-llama - ターミナルでLLaMAと対話する

• M2 Ultra上で Whisper Medium（Whisper.cpp）+ LLaMA v2 13B Q8_0 をデモ
• Whisperで音声認識し、その質問をLLaMAに送った後、回答をMacOSの音声合成（say コマンド）を使って出力
• セッション管理をサポートしており、既存の会話内容に基づく継続的な対話が可能

[ragingwind]

13B は Ultra ではうまく動くようですね。M3 Max ではどうなのか気になります