Lit-LLaMA - nanoGPTベースのオープンソースLLaMA実装

 (github.com/Lightning-AI)
25 ポイント 投稿者 xguru 2023-04-03 | 1件のコメント | WhatsAppで共有
  • GPLライセンスのLLaMAコードの代わりに、nanoGPTベースでApache 2.0ライセンスとして完全に別開発されたオープンソース
  • boilerplateなしで単一ファイルとして実装されており、シンプルで既存モデルと数値的に同一
  • FlashAttention、量子化、LoRAファインチューニング、事前学習などをサポート
  • コンシューマー向けハードウェアで動作するよう最適化

関連記事

1件のコメント

 
xguru 2023-04-03

nanoGPT は、TeslaのAI責任者だった Andrej Karpathy が minGPT を書き直したコードです。
nanoGPT - 中規模GPTを最速で訓練・ファインチューニングするためのオープンソース

FlashAttention