Torchchat - どこでもLLMと対話を可能に

• PyTorch LLMをローカルで実行（サーバー、デスクトップ、モバイル）できるようにする小規模なコードベース
  • 独自の（C/C++）アプリケーション（デスクトップまたはサーバー）と、iOSおよびAndroidでPythonを使ってLLMを実行
• Llama 3/2、Mistral など人気のLLMとのコマンドラインインタラクション
• 人気のハードウェアとOSをサポート: Linux(x86)、Mac OS(M1/M2/M3)、Android(XNNPACK対応デバイス)、iOS 17+（iPhone 13 Pro+）
• 多様なデータ型: float32、float16、bfloat16
• 多様な量子化（Quantization）スキームをサポート
• マルチ実行モード: Python（Eager、コンパイル）またはネイティブ（AOTインダクタ（AOTI）、ExecuTorch）