LLMのコンテキスト長を伸ばす (slashpage.com) 4 ポイント 投稿者 frida 2024-07-01 | 2件のコメント | WhatsAppで共有 関連記事 コンテキストの劣化：入力トークンが増えるほどLLMの性能はどう変化するのか 13 ポイント · 2件のコメント · 2025-07-16 過去5年間におけるLLMコンテキストウィンドウ拡大のタイムライン 10 ポイント · 3件のコメント · 2025-08-27 SmolLM3 - 小型で、多言語対応の長コンテキスト推論LLM 1 ポイント · 1件のコメント · 2025-07-09 AIが「考える」という論拠 40 ポイント · 7件のコメント · 2025-11-05 2件のコメント frida 2024-07-02 長いコンテキストを持つ韓国語 LLM を使うため、LLM のコンテキスト長を効率的に伸ばすために調査・試行したさまざまな方法。 LongLoRA shifted sparse attention と LoRA ファインチューニングを活用し、最大 8 倍まで拡張 Rope-based Position Interpolation Llama のように RoPE ベースの埋め込みを使用するモデルに対して、RoPE 埋め込みを修正して適用でき、ファインチューニングにより最大 16 倍までコンテキスト長を拡張 Dynamic NTK ファインチューニングなしで NTK 理論を適用し、2 倍以上に拡張 LongLM 変形したアテンションを使用し、ファインチューニングなしで最大 4 倍まで拡張 ChunkLlama テキストを Chunk に分解し、ファインチューニングなしで Llama モデルのコンテキスト長を 4 倍に拡張 Infini-attention 少ない追加メモリ使用量で 2M まで延長可能で、高速な推論が可能。Gemini-Pro に適用された方法 superwoou 2024-07-02 要約がまったくない文章は、これまた初めてですね
2件のコメント
長いコンテキストを持つ韓国語 LLM を使うため、LLM のコンテキスト長を効率的に伸ばすために調査・試行したさまざまな方法。
LongLoRA
shifted sparse attention と LoRA ファインチューニングを活用し、最大 8 倍まで拡張
Rope-based Position Interpolation
Llama のように RoPE ベースの埋め込みを使用するモデルに対して、RoPE 埋め込みを修正して適用でき、ファインチューニングにより最大 16 倍までコンテキスト長を拡張
Dynamic NTK
ファインチューニングなしで NTK 理論を適用し、2 倍以上に拡張
LongLM
変形したアテンションを使用し、ファインチューニングなしで最大 4 倍まで拡張
ChunkLlama
テキストを Chunk に分解し、ファインチューニングなしで Llama モデルのコンテキスト長を 4 倍に拡張
Infini-attention
少ない追加メモリ使用量で 2M まで延長可能で、高速な推論が可能。Gemini-Pro に適用された方法
要約がまったくない文章は、これまた初めてですね