Gemma - Googleの最先端オープンモデル

• Googleは、すべての人にとって有用なAIを作ることを信条としており、Transformers、TensorFlow、BERT、T5、JAX、AlphaFold、AlphaCode など、オープンコミュニティにイノベーションを提供してきた
• Gemmaは、Geminiモデルの構築に使われたものと同じ研究と技術を基盤として作られた、軽量な最先端オープンモデル群
  • Google DeepMindおよび他のチームが開発し、ラテン語で「宝石」を意味する gemma に着想を得ている
• 本日から世界中で利用可能で、モデル重み、開発者のイノベーションを支援するツール、コラボレーション促進のための仕組み、そしてGemmaモデルの責任ある利用を導くツール群を提供する
• Geminiと技術およびインフラ構成要素を共有しており、Gemma 2Bと7Bは他のオープンモデルと比べて、そのサイズに対して最高クラスの性能を達成
• 開発者のラップトップやデスクトップPC上で直接実行でき、主要ベンチマークでより大規模なモデルを上回りつつ、安全で責任ある出力を提供するための厳格な基準に従っている
• Native Keras 3.0を通じて、JAX、PyTorch、TensorFlow など主要フレームワーク全体で推論およびSFT（教師ありファインチューニング）のためのツールチェーンを提供
• ColabやKaggleノートブック、Hugging Face、MaxText、NVIDIA NeMo、TensorRT-LLM などの人気ツールとの統合により、Gemmaを簡単に始められる
• 事前学習済みおよび命令チューニング済みのGemmaモデルは、Vertex AIおよびGoogle Kubernetes Engine（GKE）に簡単にデプロイでき、ノートブック、ワークステーション、またはGoogle Cloud上で実行できる
• NVIDIA GPUやGoogle Cloud TPUを含む複数のAIハードウェアプラットフォーム向け最適化により、業界最高水準の性能を保証
• 利用規約に従う限り、規模を問わずあらゆる組織で商用利用と配布が可能

Responsible by design

• Gemmaは、AI原則を最優先に据えて設計されており、学習データセットから個人情報やその他の機微データを除外するために自動化技術を使用
• また、責任ある行動に沿うよう命令チューニングされたモデルのために、人間のフィードバックによる強化学習（RLHF）を幅広く活用
• Gemmaモデルのリスク特性を理解し低減するため、手動レッドチーミング、自動敵対的テスト、危険な活動に関するモデル能力評価など、強力な評価を実施

フレームワーク、ツール、ハードウェア全体にわたる最適化

• Gemmaモデルは、特定のアプリケーション要件に合わせて独自データでファインチューニングでき、多様なツールとシステムをサポート
• マルチフレームワーク対応ツール: Keras 3.0、ネイティブPyTorch、JAX、Hugging Face Transformers など、好みのフレームワークを利用可能。リファレンス実装も提供
• クロスデバイス互換性: ラップトップ、デスクトップ、IoT、モバイル、クラウドを含む一般的なデバイスで実行可能
• 最先端ハードウェアプラットフォーム: NVIDIAとの提携により、データセンターからクラウド、ローカルのRTX AI PCに至るまで、NVIDIA GPU向け最適化によって業界最高水準の性能と最先端技術との統合を保証
• Google Cloudでの最適化: Vertex AIを用いて幅広いMLOpsツールセットと多様なチューニングオプションを提供し、組み込みの推論最適化によるワンクリックデプロイが可能

研究開発向け無料クレジット

• Gemmaは、AIイノベーションを牽引する開発者および研究者コミュニティのために構築されており、Kaggleでの無料アクセス、Colabノートブックの無料枠、初回のGoogle Cloudユーザー向け$300クレジットを利用して、本日から作業を開始できる
• 研究者は、自身のプロジェクトを加速するために最大$500,000のGoogle Cloudクレジットを申請可能

[dodok8]

これで、オープンなのはAIだけで、あとは閉じている状況ですね

[xguru]

Hacker Newsの意見

• GoogleのGemma利用規約で注目すべき点は、ユーザーがGemmaの最新バージョンを使うために合理的な努力を払わなければならないという条項があること。これは、自前でモデルを運用する際に、モデル更新によって慎重にテストしたプロンプトが壊れるリスクから守られるという大きな利点を無効化しかねず、特にその条項には満足できない。
• Gemma 7Bのベンチマーク結果はMistral 7Bと同程度に見える。MMLU、HellaSwag、HumanEvalなどのテストで、Gemma 7Bの性能がMistral 7Bと比べて競争力があることを示している。
• Gemmaモデルにはいくつかの特徴がある。
  • feedforward hidden sizeがd_modelの16倍で、ほとんどのモデルが4倍であるのとは異なる。
  • 語彙サイズはMistralの32Kに比べて10倍多い256Kである。
  • 学習トークン数はLlama2の2Tに比べて3倍多い6Tである。
  • このほかにも、MQA、RoPE、RMSNormといった古典的なTransformerの派生を使っている。
  • モデルを高速に学習できたバッチサイズがどれくらいだったのかという疑問がある。
• 「alignment」（イデオロギー的なファインチューニングを意味しているようだ）なしでモデルを提供してもらえるのかという疑問が出ている。Geminiモデルの回答は、イデオロギー的なファインチューニングのせいで役に立たなくなっている場合が多いと指摘している。
• Googleのモデルは信頼できないという個人的な意見。日本の平安時代について尋ねると、モデルがまったく筋の通らない情報を返し、その誤りがあまりにも明白で、冗談やパロディのようだったと批判している。Llamaモデルのほうがはるかに良い性能を示したとも述べている。
• Gemmaチームがコメント欄に参加して質問に答えているのは称賛に値する、という前向きな意見。
• Gemmaモデルが、世界で最も高い人工構造物、世界で最も裕福な国、1フィートあたりのセンチメートル数について誤った情報を提供した。こうした誤りはモデルの正確性に疑問を投げかける。
• Gemma-7BモデルはVectara HHEMリーダーボードに掲載され、回答率100%・幻覚率7.5%を記録している。7Bパラメータのモデルとしてはかなり良い性能である。
• Gemmaモデルの印象的なベンチマークに触れ、2Bモデルでさえかなり良さそうだと評価している。週末はこのモデルを調べることに費やすつもりだという期待感を表している。
• 5年前に、OpenAI、Meta、Googleのうち、AIについて最もオープンなのはどこだと思うかと尋ねたら、大半はOpenAIを選んだだろうと述べている。しかし今では、MetaとGoogleという数兆ドル規模の企業が商用利用可能な強力なオープンモデルを公開している点で、皮肉だと評価している。