「GPU不足」よ永遠に — オープンソースAI助成金

 (a16z.com)
1 ポイント 投稿者 GN⁺ 2023-09-01 | 1件のコメント | WhatsAppで共有
  • a16zは、オープンソースAIがAIエコシステムの中核基盤だと考え、開発者のリソース格差を縮小するためにOpen Source AI Grantを開始
  • クローズドモデルと競合するオープンソースモデルが増えるなか、個人や小規模チームによるファインチューニング・最適化作業がモデルの有用性を高めている
  • 支援対象は、instruction-tuning、検閲のないLLM、ローカル実行向け量子化、推論ツール、LLMセキュリティ研究など、技術の境界を広げるプロジェクト
  • オープンソースAIはモデル規模が大きくなるほど、ファインチューニングにも多くのGPUコンピューティングリソースが必要となり、従来のインフラプロジェクトよりリソース面の負担が大きい
  • この助成金は投資やSAFE noteではなく、受給者は財務的リターンのプレッシャーなしにオープンソースの取り組みを続けられる

a16z Open Source AI Grantを発表

  • a16zはOpen Source AI Grant programにより、少数のオープンソース開発者を助成金の形で支援する
  • 支援金は投資やSAFE noteではなく、開発者が財務的リターンを生み出さなければならないというプレッシャーなしに作業を続けられるよう支援する仕組み
  • a16zは、繁栄するオープンソースエコシステムがAIの未来を作るうえで不可欠だと見ている

クローズドモデルと競合するオープンソースAI

  • オープンソースエコシステムでは、クローズドな代替モデルと競合するオープンソースモデルが登場している
  • 数百の小規模チームや個人が、モデルをより有用でアクセスしやすく、高性能にするために取り組んでいる
  • こうしたプロジェクトはオープンソースAIの技術水準を引き上げ、技術に対するより堅牢で包括的な理解を促す役割を果たす

GPUリソースがボトルネックになる理由

  • プロジェクトを作る人々は、作業を最後まで進めたり長期的に維持したりするためのリソースが不足している場合が多い
  • AIプロジェクトでは、従来のインフラよりもリソース問題が大きく表れる
    • モデルのファインチューニングにも相当なGPUコンピューティングリソースが必要
    • オープンソースモデルが大きくなるほど、必要なリソースも増える

助成金が対象とする作業領域

  • 支援対象には、オープンソースAIモデルとツールの実用性を高めるさまざまな作業が含まれる
    • ベースLLMに対するinstruction-tuning
    • 検閲のないLLMのファインチューニング
    • 低消費電力マシンでモデルを実行するための最適化
    • モデル推論のための新しいツール構築
    • LLMセキュリティ問題の研究
    • その他のオープンソースAI関連作業

最初の助成金受給者とプロジェクト

関連記事

1件のコメント

 
GN⁺ 2023-09-01
Hacker News の意見

  • AI grant の受給者の一人で、fast.ai での取り組みを支援してもらえることになり、a16z にはとても感謝している
    私の grant は Lambda Labs の Scalar サーバー購入に使われ、前世代の A6000 GPU 8枚構成にできた
    NVIDIA が最近そのうち3枚を提供してくれ、Lambda Labs も原価で提供してくれたおかげでもある
    a16z は、この grant を提供した事実を知らせること以外、株式や見返りを一切求めず、プロセスも非常にスムーズだった
    フォームもほとんどなく、1ページの契約書に署名しただけで、契約は明確かつ公正で、a16z はいかなる権利も受け取らないと明記されており、サーバー購入代金もすぐに送金してくれた

    • ここで言う前世代の A6000 GPU は、「RTX A6000」と「RTX 6000 Ada Generation」を区別している
      前者は Ampere アーキテクチャで GeForce 30 シリーズに相当し、後者は Ada アーキテクチャで GeForce 40 シリーズに相当する
      Nvidia は、技術世代名を USB Implementers Forum 並みにひどく名付けてもよいと確信しているようだ
    • a16z が grant 提供の事実を知らせること以外に株式や見返りを求めず、契約書にいかなる権利も受け取らないと明記していたというのは、かなり寛大なやり方で、誠実な事業者である強いシグナルに見える
    • 必要なところへ、感謝してくれる人へ、無条件の支援が届く事例を見るのは本当にうれしい
      こういうことがもっと増えてほしいし、jph00 の取り組みに幸運を祈る

  • HN の皆さん、この新しいイニシアチブを発表できてとてもうれしい
    このプログラムは、商業会社を目指していない個人、チーム、ハッカーを支援するよう設計されている
    それでも、こうしたプロジェクトは オープンソース AI の最前線を押し広げ、技術が発展していく過程をより堅牢かつ包括的に理解する助けになる
    ささやかながら貢献できることを誇りに思うし、最初の cohort と、この分野に貢献するすべての人に感謝している

    • 良いプロジェクトだと思う
      個人がさまざまな 学習データのアイデアでこの分野に貢献するには、まず自分で実績を示して注目を集める必要があるのか、それとも提案書を提出する方法があるのか気になる
      私の場合、計算コストがかなり高いので概念実証用のテストを数回なら賄えるが、それ以上は難しく、4090 1枚では llama70b を 1it/s より速く回せない
    • GPU はどこから確保しているのか気になる

  • リストに oobabooga があるのを見てとてもうれしい
    皆がそれぞれ違う形で貢献しており、ooba はさまざまなモデルを試せる素晴らしいポータルの役割を果たしている
    README にも、テキスト生成分野の automatic 1111 のような存在になりたいと書かれている
    私のような初心者がこの新しい世界を探索するには、ooba は良い入り口だ

  • 現在の grant 受給者を見ると祝福したくなる
    皆、影響力の大きい個人やチームで、十分に調査してお金が行くべきところに投入したことが分かる

  • 初歩的な質問だが、25,000ドルがあれば GPU を何枚か買って「GPU Poor」を支援する足しにできるだろうか？
    こういうものを自分で構築する DIY ガイドのようなものがあるのか気になる
    現金を寄付したいというよりは、GPU を何枚か何とかセットアップして、人々が原価で使えるようにしたい

    • 25K ならサーバーを借りる資金になるか、ざっくり組んで 8x4090 マシンのようなものを作れる
      多くの人が動かしたがっている 8xA100、8xH100 サーバーは20万ドルを超え、資金があっても今は入手が非常に難しい可能性が高い
    • vast.ai を使えばこうした提供を始められ、ホスティング文書もかなりある: https://vast.ai/docs/hosting/hosting
      特定のユーザー集団に限定することはできないだろうが、vast.ai を使う側は巨大企業というより主に小規模企業、個人、研究者だろうから、実質的に「GPU Poor」を助けることになる
    • その予算なら、買うより スポット/レンタルインスタンスを使うほうを正直おすすめする
      A100 は1時間あたり約2ドル程度で、難しいのは大きな割り当て量を確保することだ
      学習ジョブはどうせかなりばらつきがあるので、大きな単一実行の前に小さな実験をたくさん回すケースが多い
    • 悪意を読み取ろうとしているわけではないが、これはリソースを寄付するというより、コンドミニアムを買って家賃でローンを返すことに近いのではないかと思う
    • 場所は東海岸、ニューヨークだと仮定する

  • これは本当にすばらしい
    リストに自分が使っていたツールが多く見えて、金銭的支援を受けているのを見るとうれしい
    Ollama も近いうちにリストに入るといい
    試してみたい面白いアイデアがあるが、おそらく 8X A100 を数時間と EvolveInstruct スタイルのデータが必要で、1,000ドル以上かかりそうだ
    grant #2 に加われるか見ようと、コードを準備してみるつもりだ

    • いいね、MVP がうまくいくことを願っている
      意見も本当にありがたいし、Ollama 側の人たちとも会っている

  • 人々が依存している他の オープンソース LLM プロジェクトには何があるだろう？
    今後の grant 受給者のアイデアを探すためだ
    良いイニシアチブで、最初の選定も素晴らしく、管理報酬を非常にうまく使う方法だ
    追加候補を考えようとしても、TheBloke、vLLM、oobabooga のように自分が推薦したであろうところはすでに含まれていて難しい
    今後の受給者候補としては MLC LLM、ExLlama、text-generation-inference のオープンソースフォーク、AutoGPTQ が思い浮かぶ

    • 素晴らしい提案で、ありがとう

  • 関係者の皆さん、おめでとう
    これにある程度ブランディング/マーケティングの動機があると分かっていても、a16z がここ数年の crypto や薄いメディアの量産よりも、実際の痛みの解決に向いているのは良いことだ
    この調子で続けてほしいし、もっと多くの「thought leader」やベンチャーキャピタルも追随してほしい

    • いや、相変わらず世界を救っているところだ
      ただ今は crypto ではなく AI で救うという違いがあるだけだ
      https://a16z.com/2023/06/06/ai-will-save-the-world/
    • このイニシアチブが実際の痛みの解決に役立つという点には同意する
      ただ「Crypto」を擁護したいわけではないが、実際の痛みを解決するという基準はかなり主観的ではないかと思う
      たとえば多くの人や企業にとっては、広告クリック率を上げたり crypto/gas 手数料を下げたりすることも実際の痛みであり必要かもしれないが、その問題が自分にとって重要ではないだけかもしれない

  • 驚いた
    最初の選定が本当に手堅く、自然に起きている有機的な実験の大部分が彼らに直接依存している

  • 「Eric Hartford: 検閲のない LLM の微調整」が進むのはとてもうれしい
    LLM は非常に価値あるツールになるはずだが、こうしたツールに検閲が組み込まれるのはかなり不安だ
    安全と倫理の名目で、Word が「悪い言葉」を入力できないようにする状況を想像すればいい