[2024/06/03〜06/09] 今週の主要ML論文（Top ML Papers of the Week）
(discuss.pytorch.kr)-
DAIR.AIが毎週公開しているML論文の紹介記事を自動翻訳しました。
-
今週選ばれた論文を見ると、その大半が大規模言語モデル（LLMs）に焦点を当てている傾向があります。具体的には、大規模言語モデルからの概念抽出（Extracting Concepts from GPT-4）、効率向上（MatMul-free LLMs）、モデルの思考過程の理解（Buffer of Thoughts）、LLMsの幾何学的構造（The Geometry of Concepts in LLMs）、そしてそれらのモデルのアラインメント（Aligning LLMs with Demonstrated Feedback, Towards Scalable Automated Alignment of LLMs）に関する研究として要約できます。これらのテーマは、人工知能分野においてLLMsの理解、改善、そして応用可能性を探る現在の関心を反映しています。すべての論文内容を詳細に確認したわけではありませんが、タイトルを見るだけでも最近の研究動向を把握するには十分に思えます。
-
このような傾向はいくつかの理由で説明できます。まず、GPT-4のような大規模言語モデルの成功以降、人工知能研究の分野ではこうしたモデルへの関心が急増しました。これらのモデルは自然言語処理（NLP）はもちろん、さまざまな知識労働において人間レベルの性能を達成するうえで重要な役割を果たしています。次に、LLMsの理解と発展は、より複雑で創造的な作業をこなせるAIシステムの開発につながる機会を提供します。最後に、こうした研究は、AIの安全性と倫理的な利用を強化するうえで不可欠な、モデルの挙動を理解し制御できる技術の発展に貢献し得ます。結果として、今週選ばれた論文は、AI技術、特に大規模言語モデルの発展の最前線で進んでいる研究と実験を反映しています。
NLLB: ニューラル機械翻訳を200言語へ拡張 / Scaling neural machine translation to 200 languages
論文紹介
200言語にわたって転移学習を活用する大規模多言語モデルを提案しており、疎なMixture of Expertsアーキテクチャに基づき、低リソース言語向けに最適化されたアプローチでデータを学習し、4万件の翻訳評価で平均44%の翻訳品質向上を達成しました。
Proposes a massive multilingual model that leverages transfer learning across 200 languages; it’s based on a sparsely Gated Mixture of Experts architecture and trained on data via an approach tailored for low-resource languages; evaluates on 40K translations and achieves an average of 44% improvement in translation quality.
論文要旨(Abstract)
ニューラル技術の発展は、機械翻訳研究に新たな道を切り開きました。今日では、ニューラル機械翻訳（NMT）システムは高度な多言語能力を活用し、ゼロショット翻訳まで実行できるようになっており、言語カバレッジと品質の両面で有望な結果をもたらしています。しかし、高品質なNMTをスケールさせるには大量の並列二言語データが必要であり、それは世界に7,000以上ある言語すべてに等しく存在するわけではありません。比較的少数の高リソース言語群の翻訳品質改善に注力すると、低リソース言語へ研究の関心を向ける機会を犠牲にし、長期的にはデジタル格差を悪化させかねません。このパターンを打ち破るために、ここでは言語間の転移学習を活用する単一の大規模多言語モデル No Language Left Behind（NLLB）を紹介します。私たちは、Sparsely Gated Mixture of Expertsアーキテクチャに基づく条件付き計算モデルを開発し、低リソース言語向けに調整した新しいマイニング手法で得たデータによって学習させました。さらに、数千のタスクを学習する際の過学習に対処するため、複数のアーキテクチャおよび学習上の改善を考案しました。この目的のために特別に開発されたツール、すなわち自動ベンチマーク（FLORES-200）、人手評価指標（XSTS）、およびモデル内の全言語をカバーする毒性検出器を用いて、40,000を超える翻訳方向におけるモデル性能を評価しました。従来の最先端モデルと比較すると、私たちのモデルはBLEUで測定した翻訳品質において平均44%の改善を達成しました。NMTを200言語へ拡張する方法を示し、この取り組みにおけるすべての成果を非商用利用向けに自由に公開することで、本研究は汎用翻訳システム開発の重要な土台を築いています。
The development of neural techniques has opened up new avenues for research in machine translation. Today, neural machine translation (NMT) systems can leverage highly multilingual capacities and even perform zero-shot translation, delivering promising results in terms of language coverage and quality. However, scaling quality NMT requires large volumes of parallel bilingual data, which are not equally available for the 7,000+ languages in the world. Focusing on improving the translation qualities of a relatively small group of high-resource languages comes at the expense of directing research attention to low-resource languages, exacerbating digital inequities in the long run. To break this pattern, here we introduce No Language Left Behind—a single massively multilingual model that leverages transfer learning across languages. We developed a conditional computational model based on the Sparsely Gated Mixture of Experts architecture, which we trained on data obtained with new mining techniques tailored for low-resource languages. Furthermore, we devised multiple architectural and training improvements to counteract overfitting while training on thousands of tasks. We evaluated the performance of our model over 40,000 translation directions using tools created specifically for this purpose—an automatic benchmark (FLORES-200), a human evaluation metric (XSTS) and a toxicity detector that covers every language in our model. Compared with the previous state-of-the-art models, our model achieves an average of 44% improvement in translation quality as measured by BLEU. By demonstrating how to scale NMT to 200 languages and making all contributions in this effort freely available for non-commercial use, our work lays important groundwork for the development of a universal translation system.
論文リンク
https://www.nature.com/articles/s41586-024-07335-x
さらに読む
https://github.com/facebookresearch/fairseq/tree/nllb
https://x.com/AIatMeta/status/1798420492774432769
GPT-4から概念を抽出する / Extracting Concepts from GPT-4
研究紹介
GPT-4から約1,600万個の解釈可能なパターンを抽出するために、疎オートエンコーダに基づくスケーラブルな新手法を提案しています。この手法は予測可能なスケーリングを示し、従来技術よりも効率的です。
> Proposes a new scalable method based on sparse autoencoders to extract around 16 million interpretable patterns from GPT-4; the method demonstrates predictable scaling and is more efficient than previous techniques.
論文要旨
SAE（Sparse AutoEncoder、疎オートエンコーダ）は、疎なボトルネック層から活性化を再構成することで、言語モデルから解釈可能な特徴を抽出するための有望な教師なしアプローチを提供します。言語モデルは多くの概念を学習するため、関連する特徴をすべて復元するにはオートエンコーダを非常に大規模にする必要があります。しかし、再構成と疎性という目標のバランスを取る必要があり、さらにデッド潜在変数も存在するため、オートエンコーダのスケーリング特性を研究するのは困難です。私たちは、K-sparseオートエンコーダ[Makhzani and Frey, 2013]を用いて疎性を直接制御し、チューニングを簡素化するとともに、再構成と疎性のフロンティアを改善することを提案します。さらに、試した最大規模においてもデッド潜在変数がほとんど発生しない修正方法を見いだしました。これらの技術を用いることで、オートエンコーダのサイズと疎性に関して明確なスケーリング則を見いだしました。また、仮説的特徴の復元、活性化パターンの説明可能性、ダウンストリーム効果の疎性に基づいて特徴品質を評価するための新しい指標もいくつか導入しています。これらの指標は、いずれも一般にオートエンコーダのサイズに応じて改善します。私たちのアプローチのスケーラビリティを実証するため、400億トークンに対するGPT-4の活性化を用いて、1,600万潜在変数のオートエンコーダを学習しました。オープンソースモデル向けのコードとオートエンコーダ、ならびに可視化ツールを公開します。
> Sparse autoencoders provide a promising unsupervised approach for extracting interpretable features from a language model by reconstructing activations from a sparse bottleneck layer. Since language models learn many concepts, autoencoders need to be very large to recover all relevant features. However, studying the properties of autoencoder scaling is difficult due to the need to balance reconstruction and sparsity objectives and the presence of dead latents. We propose using k-sparse autoencoders [Makhzani and Frey, 2013] to directly control sparsity, simplifying tuning and improving the reconstruction-sparsity frontier. Additionally, we find modifications that result in few dead latents, even at the largest scales we tried. Using these techniques, we find clean scaling laws with respect to autoencoder size and sparsity. We also introduce several new metrics for evaluating feature quality based on the recovery of hypothesized features, the explainability of activation patterns, and the sparsity of downstream effects. These metrics all generally improve with autoencoder size. To demonstrate the scalability of our approach, we train a 16 million latent autoencoder on GPT-4 activations for 40 billion tokens. We release code and autoencoders for open-source models, as well as a visualizer.
研究および論文リンク
https://openai.com/index/extracting-concepts-from-gpt-4/
https://cdn.openai.com/papers/sparse-autoencoders.pdf
さらに読む
https://github.com/openai/sparse_autoencoder
https://openaipublic.blob.core.windows.net/sparse-autoencoder/…
https://x.com/OpenAI/status/1798762092528586945
トランスフォーマーはSSMである：構造化状態空間双対性による一般化モデルと効率的アルゴリズム / Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality
論文紹介
状態空間モデル（SSM）と構造化アテンションを組み合わせた新しいアーキテクチャは、8倍大きい状態を使用し、学習速度が50%向上しています。新しい状態空間双対性レイヤーは、Mambaで使われたアプローチと比べて、より効率的でスケーラブルであり、大きな状態容量を必要とするタスクの結果も改善します。
> A new architecture that combines state space models (SSMs) and structured attention; it uses 8x larger states and trains 50% faster; the new state space duality layer is more efficient and scalable compared to the approach used in Mamba; it also improves results on tasks that require large state capacity.
論文要旨(Abstract)
トランスフォーマーは言語モデリングにおけるディープラーニング成功の中核アーキテクチャでしたが、近年ではMambaのような状態空間モデル（SSM）が、小規模から中規模ではトランスフォーマーに匹敵する、あるいはそれを上回る性能を示すことが分かってきました。私たちは、これらのモデル群が実際には非常に密接に関連していることを示し、よく研究されている構造化半分離行列のさまざまな分解を通じて結び付けられる、SSMとアテンションの変種の間の豊かな理論的関係のフレームワークを構築します。状態空間双対性（SSD）フレームワークにより、言語モデリングでTransformersに対する競争力を維持しつつ、Mambaの選択的SSMを改良した中核レイヤーを持ち、2〜8倍高速な新アーキテクチャ（Mamba-2）を設計できます。
> While Transformers have been the main architecture behind deep learning's success in language modeling, state-space models (SSMs) such as Mamba have recently been shown to match or outperform Transformers at small to medium scale. We show that these families of models are actually quite closely related, and develop a rich framework of theoretical connections between SSMs and variants of attention, connected through various decompositions of a well-studied class of structured semiseparable matrices. Our state space duality (SSD) framework allows us to design a new architecture (Mamba-2) whose core layer is an a refinement of Mamba's selective SSM that is 2-8X faster, while continuing to be competitive with Transformers on language modeling.
論文リンク
https://arxiv.org/abs/2405.21060
さらに読む
https://x.com/_albertgu/status/1797651223035904355
スケーラブルな、行列積（MatMul）なしの言語モデリング / Scalable MatMul-free Language Modeling
論文紹介
LLMから行列積演算を取り除きつつ、10億パラメータ規模で性能を維持する実装を提案し、モデルサイズが大きくなるほど完全精度TransformerとMatMulなしモデルの性能差が縮まり、推論時に最適化カーネルを使うとメモリ消費が10倍以上削減されると主張しています。
> Proposes an implementation that eliminates matrix multiplication operations from LLMs while maintaining performance at billion-parameter scales; the performance between full precision Transformers and the MatMul-free models narrows as the model size increases; claims that by using an optimized kernel during inference, memory consumption is reduced by more than 10x.
論文要旨(Abstract)
一般に、行列積（MatMul）は大規模言語モデル（LLM）の計算コスト全体の大部分を占めます。このコストは、LLMがより大きな埋め込み次元とコンテキスト長へとスケールするにつれて増加する一方です。本研究では、10億パラメータ規模で高い性能を維持しながら、LLMからMatMul演算を完全に排除できることを示します。実験の結果、提案するMatMulなしモデルは、少なくとも27億パラメータ規模まで、推論時にはるかに多くのメモリを必要とする最先端Transformerと同等の性能を達成することが分かりました。スケーリング則を調査したところ、モデルサイズが大きくなるにつれて、MatMul-freeモデルと完全精度Transformerの性能ギャップが縮小することを確認しました。また、このモデルのGPU効率的な実装により、学習時のメモリ使用量を、最適化されていないベースラインに比べて最大61%削減できます。推論時に最適化カーネルを活用すると、最適化されていないモデルと比べてモデルのメモリ消費を10倍以上削減できます。このアーキテクチャの効率を適切に定量化するため、GPUの能力を超える軽量演算を活用するカスタムハードウェアソリューションをFPGA上に構築しました。人間が読めるスループットを超える速度で、13Wで10億パラメータ規模のモデルを処理し、LLMを脳のような効率へと近づけました。この研究は、効果的な性能を維持しながらLLMをどこまで削ぎ落とせるかを示すだけでなく、次世代の軽量LLMを処理する際に将来のアクセラレータが最適化すべき演算の種類も示しています。コード実装は \url{https://github.com/ridgerchu/matmulfreellm} で確認できます。
> Matrix multiplication (MatMul) typically dominates the overall computational cost of large language models (LLMs). This cost only grows as LLMs scale to larger embedding dimensions and context lengths. In this work, we show that MatMul operations can be completely eliminated from LLMs while maintaining strong performance at billion-parameter scales. Our experiments show that our proposed MatMul-free models achieve performance on-par with state-of-the-art Transformers that require far more memory during inference at a scale up to at least 2.7B parameters. We investigate the scaling laws and find that the performance gap between our MatMul-free models and full precision Transformers narrows as the model size increases. We also provide a GPU-efficient implementation of this model which reduces memory usage by up to 61% over an unoptimized baseline during training. By utilizing an optimized kernel during inference, our model's memory consumption can be reduced by more than 10x compared to unoptimized models. To properly quantify the efficiency of our architecture, we build a custom hardware solution on an FPGA which exploits lightweight operations beyond what GPUs are capable of. We processed billion-parameter scale models at 13W beyond human readable throughput, moving LLMs closer to brain-like efficiency. This work not only shows how far LLMs can be stripped back while still performing effectively, but also points at the types of operations future accelerators should be optimized for in processing the next generation of lightweight LLMs. Our code implementation is available at \url{https://github.com/ridgerchu/matmulfreellm}.
論文リンク
https://arxiv.org/abs/2406.02528
さらに読む
https://github.com/ridgerchu/matmulfreellm
https://x.com/omarsar0/status/1798373841741185261
思考のバッファ：大規模言語モデルを用いた思考拡張推論 / Buffer of Thoughts: Thought-Augmented Reasoning with Large Language Models
論文紹介
LLMベースの推論の正確性、効率性、堅牢性を高めるための思考拡張推論アプローチを提示します。問題解決プロセスから抽出した高レベルの思考（思考テンプレート）を含むメタバッファを活用し、関連する思考テンプレートを検索したうえで、思考拡張推論プロセスのためのタスク固有の推論構造として具体化します。Tree of Thoughtsのような複数クエリのプロンプト手法の12%のコストで、10の難題タスクにおいてSOTA性能を実証しました。
> Presents a thought-augmented reasoning approach to enhance the accuracy, efficiency, and robustness of LLM-based reasoning; it leverages a meta-buffer containing high-level thoughts (thought templates) distilled from problem-solving processes; the relevant thought template is then retrieved and instantiated with task-specific reasoning structures for the thought-augmented reasoning process; it demonstrates SOTA performance on 10 challenging tasks while requiring 12% of the cost of multi-query prompting methods like Tree-of-Thoughts.
論文要旨(Abstract)
大規模言語モデル（LLM）の正確性、効率性、堅牢性を向上させるための、新規かつ多用途な思考拡張型推論アプローチである Buffer of Thoughts（BoT）を紹介します。具体的には、さまざまなタスクの問題解決プロセスから抽出した一連の有益な高水準の思考、すなわち思考テンプレートを保存するメタバッファを提案します。次に各問題について、関連する思考テンプレートを検索し、それを特定の推論構造に適応的に具体化して効率的な推論を行います。さらに、スケーラビリティと安定性を保証するために、メタバッファを動的に更新するバッファマネージャも提案しており、より多くの課題が解かれるほどメタバッファの容量が強化されます。10件の難易度が高く推論集約的なタスクに対して広範な実験を行った結果、従来のSOTA手法と比べて、Game of 24で11%、Geometric Shapesで20%、Checkmate-in-Oneで51%など、顕著な性能向上を達成しました。追加分析の結果、BoTの優れた汎化能力とモデルの堅牢性が示され、平均して多重クエリ・プロンプティング手法（例：tree/graph of thoughts）のわずか12%のコストしか必要としないことが分かりました。特に、Llama3-8B+BoTはLlama3-70Bモデルを上回る可能性があることを見出しました。プロジェクトは次のリンクで確認できます: https://github.com/YangLing0818/buffer-of-thought-llm
> We introduce Buffer of Thoughts (BoT), a novel and versatile thought-augmented reasoning approach for enhancing accuracy, efficiency and robustness of large language models (LLMs). Specifically, we propose meta-buffer to store a series of informative high-level thoughts, namely thought-template, distilled from the problem-solving processes across various tasks. Then for each problem, we retrieve a relevant thought-template and adaptively instantiate it with specific reasoning structures to conduct efficient reasoning. To guarantee the scalability and stability, we further propose buffer-manager to dynamically update the meta-buffer, thus enhancing the capacity of meta-buffer as more tasks are solved. We conduct extensive experiments on 10 challenging reasoning-intensive tasks, and achieve significant performance improvements over previous SOTA methods: 11% on Game of 24, 20% on Geometric Shapes and 51% on Checkmate-in-One. Further analysis demonstrate the superior generalization ability and model robustness of our BoT, while requiring only 12% of the cost of multi-query prompting methods (e.g., tree/graph of thoughts) on average. Notably, we find that our Llama3-8B+BoT has the potential to surpass Llama3-70B model. Our project is available at: https://github.com/YangLing0818/buffer-of-thought-llm
論文リンク
https://arxiv.org/abs/2406.04271
さらに読む
https://github.com/YangLing0818/buffer-of-thought-llm
https://x.com/omarsar0/status/1799113545696567416
SaySelf: 自己内省的な根拠で自信を表現するようLLMを訓練する / SaySelf: Teaching LLMs to Express Confidence with Self-Reflective Rationales
論文紹介
LLMがより正確で細粒度な信頼度推定値と自己反省的な根拠を表現できるように教える訓練フレームワークです。複数の推論チェーン間の差異の要約を含むデータセットで教師ありファインチューニングを行い、その後、強化学習を適用して信頼度推定値を較正することで、LLMが正確で高い信頼度の予測を生成し、誤った出力に対する過信にはペナルティを与えるよう促します。
> A training framework to teach LLMs to express more accurate fine-grained confidence estimates and self-reflective rationales; it performs supervised finetuning on a dataset that contains summaries of the difference between multiple reasoning chains; reinforcement learning is then applied to calibrate confidence estimates, encouraging the LLM to produce accurate, high-confidence predictions and penalize overconfidence in erroneous outputs.
論文要旨(Abstract)
大規模言語モデル（LLM）は、しばしば不正確または捏造された情報を生成し、一般的に自らの信頼度を示さないため、幅広い応用が制限されがちです。従来研究では、直接的なプロンプティングや自己整合性プロンプティング、あるいは教師ありファインチューニング用の特定データセットを構築することで、LLMから信頼度を引き出してきました。プロンプトベースの手法は性能が劣り、学習ベースの手法は二値的、または不正確なグループレベルの信頼度推定に限られています。本研究では、LLMがより正確で粒度の細かい信頼度推定を表現できるように教える学習フレームワーク、高度なSaySelfを紹介します。さらに、SaySelfは信頼度スコアに加えて、LLMがパラメトリック知識のギャップを明確に特定し、不確実性を説明する自己内省的な根拠を生成するよう導くプロセスを開始します。これは、LLMを用いて特定の知識に関する不確実性を自然言語で自動的に要約することで実現されます。要約は、複数サンプリングされた推論チェーン間の不一致分析に基づいており、得られたデータは教師ありファインチューニングに活用されます。さらに、綿密に設計された報酬関数とともに強化学習を活用して信頼度推定を較正し、LLMが正確で高信頼な予測を提供し、誤った出力に対する過信にはペナルティが課されるよう動機づけます。分布内および分布外データセットでの実験結果は、SaySelfが信頼度較正誤差を低減しつつ、タスク性能を維持するうえで有効であることを示しています。また、生成された自己内省的な根拠が妥当であり、較正にさらに寄与しうることも示されています。コードは https://github.com/xu1868/SaySelf で公開されています。
> Large language models (LLMs) often generate inaccurate or fabricated information and generally fail to indicate their confidence, which limits their broader applications. Previous work elicits confidence from LLMs by direct or self-consistency prompting, or constructing specific datasets for supervised finetuning. The prompting-based approaches have inferior performance, and the training-based approaches are limited to binary or inaccurate group-level confidence estimates. In this work, we present the advanced SaySelf, a training framework that teaches LLMs to express more accurate fine-grained confidence estimates. In addition, beyond the confidence scores, SaySelf initiates the process of directing LLMs to produce self-reflective rationales that clearly identify gaps in their parametric knowledge and explain their uncertainty. This is achieved by using an LLM to automatically summarize the uncertainties in specific knowledge via natural language. The summarization is based on the analysis of the inconsistency in multiple sampled reasoning chains, and the resulting data is utilized for supervised fine-tuning. Moreover, we utilize reinforcement learning with a meticulously crafted reward function to calibrate the confidence estimates, motivating LLMs to deliver accurate, high-confidence predictions and to penalize overconfidence in erroneous outputs. Experimental results in both in-distribution and out-of-distribution datasets demonstrate the effectiveness of SaySelf in reducing the confidence calibration error and maintaining the task performance. We show that the generated self-reflective rationales are reasonable and can further contribute to the calibration. The code is made public at https://github.com/xu1868/SaySelf.
論文リンク
https://arxiv.org/abs/2405.20974
さらに読む
https://github.com/xu1868/SaySelf
https://x.com/omarsar0/status/1797682549608833477
大規模言語モデルにおけるカテゴリ概念および階層概念の幾何学 / The Geometry of Categorical and Hierarchical Concepts in Large Language Models
論文紹介
カテゴリ概念の幾何学的構造と、それらの間の階層関係がLLMでどのようにエンコードされるかを研究し、単純なカテゴリ概念はLLMによって単体として表現され、複雑な概念は階層構造を反映した単体の直和から構成されるポリトープとして表現されることを明らかにしています。
> Studies the geometry of categorical concepts and how the hierarchical relations between them are encoded in LLMs; finds that simple categorical concepts are represented as simplices by the LLMs and complex concepts are represented as polytopes constructed from direct sums of simplices, which reflect the hierarchical structure.
論文要旨(Abstract)
大規模言語モデルの表現空間において意味論的な意味がどのように符号化されているかを理解することは、解釈可能性における根本的な問題です。本論文では、この分野の2つの基本的な問いを研究します。第一に、{'哺乳類', '鳥類', '爬虫類', '魚類'} のようなカテゴリ概念はどのように表現されるのでしょうか。第二に、概念間の階層的関係はどのようにエンコードされるのでしょうか。たとえば、「犬」が「哺乳類」の一種であるという事実はどのようにエンコードされるのでしょうか。これらの問いに答えるために、線形表現仮説を拡張する方法を示します。単純なカテゴリ概念は単体として表現され、階層的に関連する概念は私たちが厳密に定義する意味で直交しており、その結果として複雑な概念は階層構造を反映して単体の直和から構成される多面体として表現される、という驚くほど単純な構造を見いだします。これらの理論的結果を Gemma 大規模言語モデルで検証し、WordNet のデータを用いて階層的に関連する957の概念について表現を推定します。
> Understanding how semantic meaning is encoded in the representation spaces of large language models is a fundamental problem in interpretability. In this paper, we study the two foundational questions in this area. First, how are categorical concepts, such as {'mammal', 'bird', 'reptile', 'fish'}, represented? Second, how are hierarchical relations between concepts encoded? For example, how is the fact that 'dog' is a kind of 'mammal' encoded? We show how to extend the linear representation hypothesis to answer these questions. We find a remarkably simple structure: simple categorical concepts are represented as simplices, hierarchically related concepts are orthogonal in a sense we make precise, and (in consequence) complex concepts are represented as polytopes constructed from direct sums of simplices, reflecting the hierarchical structure. We validate these theoretical results on the Gemma large language model, estimating representations for 957 hierarchically related concepts using data from WordNet.
論文リンク
https://arxiv.org/abs/2406.01506
さらに読む
https://x.com/omarsar0/status/1798010546522103898
見せるだけで語らない：実演フィードバックに合わせて言語モデルを調整する / Show, Don't Tell: Aligning Language Models with Demonstrated Feedback
論文紹介
フィードバックとしてごく少数のデモを用いて特定の設定に合わせて LLM を調整する方法を提案し、ユーザーのデモ行動に合わせて LLM の出力を調整し、複数ドメインにわたって細粒度なスタイルおよびタスクの調整を学習でき、テストされたベンチマークにおいて few-shot prompting、SFT、および self-play 手法を上回る性能を発揮します。
> Proposes a method to align LLMs to a specific setting via a very small number of demonstrations as feedback; it aligns LLM outputs to a user’s demonstrated behaviors and can learn fine-grained style and task alignment across domains; outperforms few-shot prompting, SFT, and self-play methods on the tested benchmarks.
論文要旨(Abstract)
言語モデルは多数の集合的な声をエミュレートするよう調整されているため、誰にも特に一致しない出力を生みます。LLM を汎用的な出力から逸脱させることは supervised fine-tuning や RLHF によって可能ですが、新しいアドホックなタスクのためには法外に大規模なデータセットが必要です。これに対して、きわめて少数のデモ($<10$)をフィードバックとして活用することで、特定の設定に LLM を調整できると本論文は主張します。提案手法である Demonstration ITerated Task Optimization (DITTO) は、言語モデルの出力をユーザーが示した行動へ直接整合させます。オンライン模倣学習のアイデアから導かれた DITTO は、ユーザーのデモを LLM およびその中間チェックポイントの出力よりも好ましいものとして扱うことで、オンライン比較データを低コストに生成します。ニュース記事、メール、ブログ投稿などのドメイン全体にわたり、細粒度なスタイルとタスクの整合を学習する DITTO の能力を評価します。さらに、参加者から多様なデモを収集するユーザー調査も実施します($N=16$)。ベンチマークおよびユーザー調査全体で、DITTO の勝率は few-shot prompting、supervised fine-tuning、およびその他の self-play 手法を平均19ポイント上回ることがわかりました。デモを直接フィードバックとして用いることで、DITTO は LLM を効果的にカスタマイズするための新しい方法を提供します。
> Language models are aligned to emulate the collective voice of many, resulting in outputs that align with no one in particular. Steering LLMs away from generic output is possible through supervised finetuning or RLHF, but requires prohibitively large datasets for new ad-hoc tasks. We argue that it is instead possible to align an LLM to a specific setting by leveraging a very small number ($<10$) of demonstrations as feedback. Our method, Demonstration ITerated Task Optimization (DITTO), directly aligns language model outputs to a user's demonstrated behaviors. Derived using ideas from online imitation learning, DITTO cheaply generates online comparison data by treating users' demonstrations as preferred over output from the LLM and its intermediate checkpoints. We evaluate DITTO's ability to learn fine-grained style and task alignment across domains such as news articles, emails, and blog posts. Additionally, we conduct a user study soliciting a range of demonstrations from participants ($N=16$). Across our benchmarks and user study, we find that win-rates for DITTO outperform few-shot prompting, supervised fine-tuning, and other self-play methods by an average of 19% points. By using demonstrations as feedback directly, DITTO offers a novel method for effective customization of LLMs.
論文リンク
https://arxiv.org/abs/2406.00888
さらに読む
https://x.com/arankomatsuzaki/status/1797833884463472653
スケーラブルな LLM の自動アラインメントに向けて：サーベイ論文 / Towards Scalable Automated Alignment of LLMs: A Survey
論文紹介
LLMをアラインメントするために用いられる手法の概要を示し、次の4つの方向性を取り上げます。1) 帰納バイアスによるアラインメント、2) 行動模倣によるアラインメント、3) モデルフィードバックによるアラインメント、4) 環境フィードバックによるアラインメント。
> Provides an overview of methods used for alignment of LLMs; explores the 4 following directions: 1) aligning through inductive bias, 2) aligning through behavior imitation, 3) aligning through model feedback, and 4) aligning through environment feedback.
論文要旨(Abstract)
アラインメントは、人間のニーズを満たす大規模言語モデル（LLM）を構築するうえで最も重要な段階です。LLMが徐々に人間の能力を上回る水準へと急速に発展する中で、人手によるアノテーションに基づく従来のアラインメント手法では、スケーラビリティの要求を満たせないケースがますます増えています。そのため、自動化されたアラインメント信号の新たな供給源と技術的アプローチを探る必要性が切実に高まっています。本稿では、近年登場してきた自動アラインメント手法を体系的にレビューし、LLMの能力が人間の能力を超えた際に、どのように効果的でスケーラブルな自動アラインメントを実現できるかを探ります。具体的には、アラインメント信号の出所に基づいて既存の自動アラインメント手法を大きく4つのカテゴリに分類し、それぞれのカテゴリの現状と発展可能性について論じます。さらに、自動アラインメントを可能にする基盤メカニズムを検討し、アラインメントの根本的な役割という観点から、自動アラインメント技術を実現可能かつ効果的なものにするための必須要素について議論します。
> Alignment is the most critical step in building large language models (LLMs) that meet human needs. With the rapid development of LLMs gradually surpassing human capabilities, traditional alignment methods based on human-annotation are increasingly unable to meet the scalability demands. Therefore, there is an urgent need to explore new sources of automated alignment signals and technical approaches. In this paper, we systematically review the recently emerging methods of automated alignment, attempting to explore how to achieve effective, scalable, automated alignment once the capabilities of LLMs exceed those of humans. Specifically, we categorize existing automated alignment methods into 4 major categories based on the sources of alignment signals and discuss the current status and potential development of each category. Additionally, we explore the underlying mechanisms that enable automated alignment and discuss the essential factors that make automated alignment technologies feasible and effective from the fundamental role of alignment.
論文リンク
https://arxiv.org/abs/2406.01252
さらに読む
https://x.com/omarsar0/status/1798014572663583165
AgentGym: 多様な環境で大規模言語モデルベースのエージェントを進化させる / AgentGym: Evolving Large Language Model-based Agents across Diverse Environments
論文紹介
幅広いリアルタイム同時エージェント探索のために、多様な環境とタスクをサポートする新しいフレームワークであり、自己進化能力を備えた汎用的なLLMベースのエージェントを構築し、タスクと環境全体にわたって、これまで見たデータを超える潜在能力を探求できます。
> A new framework featuring various environments and tasks for broad, real-time, and concurrent agent exploration; builds a generally capable LLM-based agent with self-evolution abilities and explores its potential beyond previously seen data across tasks and environments.
論文要旨(Abstract)
多様なタスクを処理し、複数の環境で自ら進化できるジェネラリストエージェントを構築することは、AIコミュニティの長期的な目標です。大規模言語モデル（LLM）は、その汎用的な能力により、このようなエージェントを構築するための有望な基盤と見なされています。現在のアプローチには、LLMベースのエージェントに専門家が提供した軌跡を段階的に模倣させることで人手による監督を必要とし、スケールしにくく環境探索も制限されるものと、エージェントを孤立した環境で探索・学習させることで、汎化能力が限られた特化型エージェントになってしまうものがあります。本論文では、自己進化能力を備えた汎用LLMベースエージェントの構築に向けた第一歩を示します。私たちは3つの要素を特定します。1）エージェントの探索と学習のための多様な環境、2）エージェントに基本能力と事前知識を身につけさせるための軌跡セット、3）効果的でスケーラブルな進化手法です。Unityは、広範でリアルタイム、統一フォーマット、かつ並行的なエージェント探索のために、多様な環境とタスクを備えた新しいフレームワークであるAgentGymを提案しています。AgentGymには、拡張された指示を含むデータベース、ベンチマークスイート、環境横断の高品質な軌跡も含まれています。次に、タスクと環境をまたいで、これまで観測されたデータを超えるエージェント自身の進化可能性を調査するための新手法AgentEvolを提案します。実験結果は、進化したエージェントがSOTAモデルに匹敵する結果を達成できることを示しています。プラットフォーム、データセット、ベンチマーク、チェックポイント、アルゴリズム実装を含むAgentGymスイートが公開されています。AgentGymスイートは https://github.com/WooooDyy/AgentGym で確認できます。
> Building generalist agents that can handle diverse tasks and evolve themselves across different environments is a long-term goal in the AI community. Large language models (LLMs) are considered a promising foundation to build such agents due to their generalized capabilities. Current approaches either have LLM-based agents imitate expert-provided trajectories step-by-step, requiring human supervision, which is hard to scale and limits environmental exploration; or they let agents explore and learn in isolated environments, resulting in specialist agents with limited generalization. In this paper, we take the first step towards building generally-capable LLM-based agents with self-evolution ability. We identify a trinity of ingredients: 1) diverse environments for agent exploration and learning, 2) a trajectory set to equip agents with basic capabilities and prior knowledge, and 3) an effective and scalable evolution method. We propose AgentGym, a new framework featuring a variety of environments and tasks for broad, real-time, uni-format, and concurrent agent exploration. AgentGym also includes a database with expanded instructions, a benchmark suite, and high-quality trajectories across environments. Next, we propose a novel method, AgentEvol, to investigate the potential of agent self-evolution beyond previously seen data across tasks and environments. Experimental results show that the evolved agents can achieve results comparable to SOTA models. We release the AgentGym suite, including the platform, dataset, benchmark, checkpoints, and algorithm implementations. The AgentGym suite is available on https://github.com/WooooDyy/AgentGym.
論文リンク
https://arxiv.org/abs/2406.04151
さらに読む
https://github.com/WooooDyy/AgentGym
https://x.com/arankomatsuzaki/status/1798904095669121443
原文
https://nlp.elvissaravia.com/p/top-ml-papers-of-the-week-90f
この記事はGPTモデルで整理したものであり、誤りが含まれている可能性があるため、記事下部の原文もあわせてご参照ください。お読みいただく中で不自然な点や誤った内容を見つけた場合は、コメントでお知らせいただけますと幸いです。 🤗
⚠️広告⚠️: 🔥PyTorch韓国ユーザーコミュニティ🇰🇷がまとめたこの記事は役に立ちましたか？ 会員登録すると主要な記事をメール💌でお届けします！（基本はWeeklyですが、Dailyへの変更も可能です。）
まだコメントはありません。