Gemma 2: 実用的な規模のオープン言語モデルの改善

主なポイント:

Gemma 2は、2億から270億パラメータの範囲をカバーする軽量な最先端オープン言語モデルの新しいファミリーです。
90億および270億パラメータのモデルは現在利用可能で、20億モデルは近日公開予定です。

主な技術的改善点:

• ローカル-グローバルアテンションの交互利用
• グループクエリアテンション
• 小規模モデル向けの知識蒸留学習
  モデルはそのサイズに対して最高水準の性能を示し、2〜3倍大きいモデルとも競争可能です。

モデルアーキテクチャ:

• デコーダ専用トランスフォーマーアーキテクチャ
• 8192トークンのコンテキスト長
• ローカルスライディングウィンドウ（4096トークン）とグローバルアテンションレイヤーを交互に使用
• グループクエリアテンション（GQA）
• レイヤー正規化のためのRMSNorm

学習:

• 270億モデルは13兆トークンで学習
• 90億モデルは8兆トークンで学習
• 26億モデルは2兆トークンで学習
• データソース: Web文書、コード、科学記事
• 26億および90億モデルに知識蒸留を使用

性能:

• ベンチマークで同等のオープンモデルを上回る
• 一部のより大規模なモデルとも競争力あり
• 質問応答、推論、数学、科学、コーディングタスクで高い結果

安全性と責任:

• 広範な安全性テストと責任ある展開手順を実施
• 安全ポリシーと学習時の緩和措置を実装
• 開発者向けに責任ある生成AIツールキットを提供

[savvykang]

CPUだけでLLMを動かせる時代は来るのでしょうか？

[haebom]

20B前後ならCPUだけでも十分に動かせます。60Bからは厳しかったり、うまく動かなかったりしますね。（学習はまた別の領域です）ollama を一度使ってみてください。

[savvykang]

要件についてまったく見当がついていなかったので、アドバイスありがとうございます。Intel第11世代のノートPCではまだ厳しそうなので、仮想化サーバーに載せるなどする必要がありそうですね

[hhkkkk]

LM Studioをインストールすれば大丈夫です

[savvykang]

ノートPCで厳しいと言った理由は、CPU使用率が全コアで100%に達して発熱も激しく、快適ではないと感じたためです。LM StudioにはプロンプトUIがあるので使い勝手は良いですが、快適さまでは満たせないように思います

[hhkkkk]

え…？ もうやってますけど;;