Meta、LLM Compilerを発表

 (twitter.com/AIatMeta)
6 ポイント 投稿者 GN⁺ 2024-06-30 | 2件のコメント | WhatsAppで共有
  • MetaがCode Llamaをベースに開発した、コード最適化およびコンパイラ機能を備えたLLM Compilerモデル群を発表
  • これらのモデルは次のような機能を備える:
    • コンパイラエミュレーション
    • コードサイズ最適化のための最適なパス予測
    • コード逆アセンブル
  • 新しい最適化およびコンパイラ作業向けにファインチューニング可能

主な特徴

  • コードサイズ最適化および逆アセンブリで最高水準の結果を達成
  • AIがコード最適化を学習しており、コンパイラ専門家による最適化機会の特定を支援できることを実証

モデル公開

  • LLM Compiler 7Bおよび13Bモデルを、研究および商用利用の両方に対して寛容なライセンスで公開
  • 開発者と研究者が容易に活用し、この分野で新たな研究を進められるよう支援

関連記事

2件のコメント

 
ragingwind 2024-07-01

アイデアは面白そうですね。
 
GN⁺ 2024-06-30
Hacker Newsの意見
  • LLMをコンパイラ/逆コンパイラとして使うのは興味深い応用だ
  • コンパイラでは信頼性と正確性が重要だ
  • LLMは本質的に予測不可能なので、ビルドパイプラインに組み込むのは奇妙に感じる
  • 論文ではCodeLlamaを出発点として、3つのタスク向けにモデルを訓練した
    • 1つ目のタスクはコンパイル: 入力コードとコンパイラフラグを与え、出力アセンブリを予測すること
    • 2つ目のタスクはコンパイラフラグの予測/最適化: アセンブリサイズを最適化すること
    • 3つ目のタスクは逆コンパイル: 従来のアプローチより利点があると主張している
  • 逆コンパイルのアプローチには検証可能性の問題がある
  • 逆コンパイルしたコードを再コンパイルして正確性を確認する方法を使っている
  • 精度は約45%で、まだ信頼できるレベルではないが、従来の逆コンパイラと併用すれば有用かもしれない
  • このモデルが性能最適化へ拡張できるのか探ってみたい
  • LLMが直感を提供し、システムが機械的かつ厳密な方法で処理するケースが増えていきそうだ
  • LLMが入力の意味を保持しているかどうかを確認する方法が気になる
  • 以前の研究はGitHubで確認できる
  • Twitterはこの研究に感銘を受けたが、プログラムを壊す可能性が高いと考えている
  • Metaの他のAI論文と違って、Instagram、Facebook、Metaで使われているという言及がない
  • "LLM Compiler"より"Compiler LLM"のほうが正確な名前だと思う
  • この作業の目的が理解できない
  • <i>Deus Ex</i> のゲームでMeta Technologies Neural Optimizer and Disassemblerを取引していたのを思い出す