真のオープンLLM、Hello OLMo登場

 (blog.allenai.org)
7 ポイント 投稿者 GN⁺ 2024-04-09 | 1件のコメント | WhatsAppで共有

  • AI2がOLMo 7Bモデルを公開。事前学習データと学習コードをあわせて公開した、真の意味でのオープンソース大規模言語モデル。

    • 研究者と開発者が最高水準のオープンモデルを使い、協調して言語モデル科学を発展させられるようにする。
    • MetaのAI科学者Yann LeCunは、オープンソースコミュニティこそがAIの未来を最も速く効果的に築けると述べている。

  • OLMoフレームワークの主な特徴:

    • 完全な事前学習データ: AI2のDolmaデータセットを使用し、学習データを生成するコードも含まれる。
    • 学習コードとモデル重み: 7Bスケールの4種類のモデル変種について、完全なモデル重み、推論コード、学習指標、学習ログなどを提供。
    • 評価: Catwalkプロジェクトのもとで、500以上のチェックポイントと評価コードなど、開発に使われた評価ツールを公開。

  • OLMoによって、AI研究者と開発者は次のような体験ができる:

    • より正確な分析: 学習データへの完全な洞察をもとに、より速く作業できる。
    • 炭素排出の削減: 学習と評価のエコシステム全体を公開することで、重複開発を減らせる。
    • 継続的な成果: モデルとデータセットを公開することで、以前のモデルから学び、その上に構築できる。

  • AMD、CSC（Lumi Supercomputer）、University of Washington、Databricksなどとの協力を通じて、OLMoの開発が可能になった。

GN⁺の見解

  • AIモデルの透明性向上のために学習データとコードを公開したことは大きな意義があるように見える。ただし、データのバイアスなどの問題があり得るため、その点の検討も必要だろう。
  • オープンソース言語モデルのエコシステム活性化により、技術発展は加速しそうだ。一方で、大手IT企業のクローズドなAIモデルとの競争でどのような成果を出せるかは見守る必要がある。
  • AI開発に必要な莫大な計算資源を確保するため、さまざまな機関との協力は非常に重要に見える。産学連携モデルとして良い手本になりそうだ。
  • OLMoによって言語モデルの動作原理に関する科学的研究が活発になることが期待される。これは、より安全で信頼できるAI開発につながる可能性がある。

関連記事

1件のコメント

 
GN⁺ 2024-04-09
Hacker Newsの意見
  • LLMを使用する際は、著者にどのような用途かを知らせる必要がある。ライセンスに明記されている内容である。
  • 派生物を作成する場合、AI2に Derivative Impact Report を提出するか、同様の情報を書面で提供しなければならない。AI2はこの情報を一般公開できる。
  • 派生物の使用目的について透明性をもって公開する必要がある。
  • Derivative Impact Report は、善意による公開を罰するためのものではない。関連訴訟を提起した場合、契約は直ちに終了する。
  • 真のオープンソースモデルの1つである。多くは重みだけを公開しているのに対し、これは end-to-end でオープンである。
  • Mistral 7b との比較に言及がないのは意外である。
  • "The Pile" は学習データに含まれていないようだ。法的には他の"オープン"LLMより健全かもしれない。
  • データセットに適用されたリスク分類の実際の意味は何だろうか。ライセンスページでは説明が不十分である。学習データセットとして使用するには、ライセンス面で互換性がないリスクを意味するのだろうか。
  • 小さなサイズにもかかわらず、驚くほど高速である。
  • AMD GPU で正常に学習された注目すべき最初期の LLM の1つだろうか。プロセスがどれほど円滑だったのか、困難はなかったのか気になる。
  • このモデルや類似モデルでは、推論時に"繰り返しトークン"問題が発生する。コンテキストウィンドウが中程度に長いときによく起きる。
  • 学習中に一種の局所最適に陥っているように見える。温度が影響しているようだが、完全には解決していない。
  • ブログ記事に比較表がないのが残念である。
  • 個人的には最も興味深い LLM である。検索を代替し、さらには研究まで行って最終的な回答を提供できる強力なツールである。OpenAI、Anthropic などのクローズドモデルは監査できない。
  • 実際に LLM にバイアスが注入された事例がある（例: Google Gemini の秘密のメタプロンプトによる、歴史的に不正確な画像生成）。
  • AI2 のアプローチが気に入っている。重みだけでなく、学習用ソースコード、データ、評価ツールなどもすべて Apache ライセンスで共有している。
  • Llama のようなオープンウェイトモデルが OpenAI などのクローズドモデルに追いつきつつある。OLMo のような真のオープンモデルも引き続き発展してほしい。
  • オープンソースAIの開発が規制で妨げられないことを願う。将来、社会の言論手段になり得るため、規制は表現の自由の制限に近い。競争圧力の低下はイノベーションを損なうだろう。
  • 2か月前の記事である。