[2025/08/18〜24] 今週チェックしたいAI/ML論文まとめ
(discuss.pytorch.kr)[2025/08/18〜24] 今週チェックしたいAI/ML論文まとめ
PyTorchKR🔥🇰🇷 🤔💭
1️⃣ 今週選ばれた論文を見ていくと、いくつかの主要トレンドが確認できます。1つ目は、大規模言語モデルの効率と性能を同時に最適化しようとする取り組みが際立っている点です。複数の論文で、モデル性能を高めるためのさまざまなアプローチが提示されており、たとえば DeepConf や Avengers-Pro は、モデル内部の信頼シグナルを活用したり、効率的なルーティングフレームワークを通じて、性能とコストのバランスを取ろうとする試みを示しています。こうしたアプローチは、特に大規模モデルの高い計算コストを抑えつつ性能を最大化しようとする研究者たちの関心を反映しています。
2️⃣ 2つ目は、感情的反応を備えた言語モデルが信頼性に及ぼす負の影響を扱っている点です。ある論文では、温かく共感的な応答を最適化したモデルが、かえって信頼性を低下させうることを示しており、これは AI システムが人との関係において重要な役割を担う場面で、より注意すべき問題です。こうした研究は、AI の社会的責任や倫理的側面を考慮するうえで重要な貢献をしています。
3️⃣ 3つ目は、動画理解とマルチモーダル処理の進展に関するものです。最近の論文では、動画データを効果的に処理し理解するための新たな方法論が提案されており、これは動画とテキストの相互作用をさらに深く探究しようとする努力を示しています。Infinite Video Understanding や GLIMPSE のような研究は、動画理解の限界を乗り越え、モデルが単純なフレーム分析を超えて真の意味で動画を思考できるようにする方向へ進んでいます。こうした傾向は、マルチモーダル AI の発展とともに、多様な応用可能性を切り開くことが期待されます。
自信を持って深く考える / Deep Think with Confidence
論文紹介
自信を持って深く考える（DeepConf; Deep Think with Confidence）は、追加学習やハイパーパラメータ調整なしに、大規模言語モデル（LLM）における推論タスクの効率と性能を向上させるために設計された新しい手法です。内部信頼度シグナルを活用する DeepConf は、低品質な推論トレースを効果的にフィルタリングし、精度を大幅に改善するとともに計算オーバーヘッドを削減します。AIME 2025 のようなベンチマークを含む多様な推論タスクでの評価結果では、DeepConf は既存手法と比べて最大 99.9% の精度を達成しつつ、生成トークン数を最大 84.7% 削減できることが示されました。このアプローチは既存のサービングフレームワークに容易に統合できるため、LLM の性能向上に向けた実用的なソリューションとなりえます。
論文要旨(Abstract)
大規模言語モデル（LLM）は、多数決による自己整合性のようなテスト時スケーリング手法を通じて、推論タスクで大きな可能性を示してきました。しかし、このアプローチはしばしば精度向上の逓減と高い計算オーバーヘッドを招きます。こうした課題に対処するため、私たちはテスト時に推論効率と性能の両方を向上させる、シンプルでありながら強力な手法 Deep Think with Confidence（DeepConf）を紹介します。DeepConf は、モデル内部の信頼シグナルを活用して、生成中または生成後に低品質な推論トレースを動的にフィルタリングします。追加のモデル学習やハイパーパラメータ調整は不要で、既存のサービングフレームワークにシームレスに統合できます。私たちは DeepConf を、多様な推論タスクと最新のオープンソースモデル（Qwen 3 および GPT-OSS シリーズを含む）で評価しました。特に AIME 2025 のような難度の高いベンチマークでは、DeepConf@512 は最大 99.9% の精度を達成し、完全な並列思考と比べて生成トークン数を最大 84.7% 削減しました。
Large Language Models (LLMs) have shown great potential in reasoning tasks through test-time scaling methods like self-consistency with majority voting. However, this approach often leads to diminishing returns in accuracy and high computational overhead. To address these challenges, we introduce Deep Think with Confidence (DeepConf), a simple yet powerful method that enhances both reasoning efficiency and performance at test time. DeepConf leverages model-internal confidence signals to dynamically filter out low-quality reasoning traces during or after generation. It requires no additional model training or hyperparameter tuning and can be seamlessly integrated into existing serving frameworks. We evaluate DeepConf across a variety of reasoning tasks and the latest open-source models, including Qwen 3 and GPT-OSS series. Notably, on challenging benchmarks such as AIME 2025, DeepConf@512 achieves up to 99.9% accuracy and reduces generated tokens by up to 84.7% compared to full parallel thinking.
論文リンク
https://arxiv.org/abs/2508.15260
さらに読む
https://discuss.pytorch.kr/t/thinkmesh-llm-python/7575
GPT-5を超えて: 性能効率最適化ルーティングによる LLM のコスト削減と性能向上 / Beyond GPT-5: Making LLMs Cheaper and Better via Performance-Efficiency Optimized Routing
![[IMG] GPT-5を超えて: 性能効率最適化ルーティングによる LLM のコスト削減と性能向上 / Beyond GPT-5: Making LLMs Cheaper and Better via Performance-Efficiency Optimized Routing|997x448](upload://x4KIsqweg38Zefgu5QdaHoaH36u.png){kind=link}
論文紹介
大規模言語モデル（LLM）の性能と効率をバランスよく発展させることは重要な課題です。Avengers-Pro は、さまざまな規模と効率を持つ LLM を組み合わせ、最適な性能効率スコアに基づいてクエリを適切なモデルへルーティングするテスト時ルーティングフレームワークです。この手法は、6つの難度の高いベンチマークと8つの主要モデルで最先端の結果を達成し、性能効率トレードオフのパラメータを調整することで、GPT-5-medium より平均精度を +7% 向上させることができます。また、最も強力な単一モデルの平均精度に対して 27% 低いコストで同等性能を実現し、63% 低いコストで約 90% の性能を達成するなど、コスト当たりで最高の精度を継続的に提供するパレートフロンティアを実現しています。
論文要旨(Abstract)
大規模言語モデル（LLM）の発展において、性能と効率のバランスを取ることは中核的な課題です。GPT-5はテスト時ルーティング（test-time routing）によってこれを解決し、推論中にクエリを効率的なモデルまたは大容量モデルへ動的に割り当てます。本研究では、Avengers-Proというテスト時ルーティングフレームワークを提示します。このフレームワークは、さまざまな容量と効率性を持つLLMをアンサンブルし、あらゆる性能・効率トレードオフに対する統合ソリューションを提供します。Avengers-Proは、入力されるクエリを埋め込みとクラスタリングによって処理した後、性能・効率スコアに基づいて各クエリを最適なモデルへルーティングします。6つの難易度の高いベンチマークと、GPT-5-medium、Gemini-2.5-pro、Claude-opus-4.1を含む8つの主要モデルを用いた評価により、Avengers-Proは最先端の結果を達成しました。性能・効率トレードオフのパラメータを調整することで、平均精度において最も強力な単一モデル（GPT-5-medium）を+7%上回ることができます。さらに、27%低いコストで最も強力な単一モデルの平均精度に匹敵でき、63%低いコストでその性能の約90%に到達できます。最後に、Avengers-Proはパレートフロンティアを達成し、すべての単一モデルの中で、与えられたコストに対して一貫して最高の精度を提供し、与えられた精度に対して最小のコストを実現します。コードはhttps://github.com/ZhangYiqun018/AvengersProで確認できます。
Balancing performance and efficiency is a central challenge in large language model (LLM) advancement. GPT-5 addresses this with test-time routing, dynamically assigning queries to either an efficient or a high-capacity model during inference. In this work, we present Avengers-Pro, a test-time routing framework that ensembles LLMs of varying capacities and efficiencies, providing a unified solution for all performance-efficiency tradeoffs. The Avengers-Pro embeds and clusters incoming queries, then routes each to the most suitable model based on a performance-efficiency score. Across 6 challenging benchmarks and 8 leading models -- including GPT-5-medium, Gemini-2.5-pro, and Claude-opus-4.1 -- Avengers-Pro achieves state-of-the-art results: by varying a performance-efficiency trade-off parameter, it can surpass the strongest single model (GPT-5-medium) by +7% in average accuracy. Moreover, it can match the average accuracy of the strongest single model at 27% lower cost, and reach ~90% of that performance at 63% lower cost. Last but not least, it achieves a Pareto frontier, consistently yielding the highest accuracy for any given cost, and the lowest cost for any given accuracy, among all single models. Code is available at https://github.com/ZhangYiqun018/AvengersPro.
論文リンク
https://arxiv.org/abs/2508.12631
さらに読む
https://github.com/ZhangYiqun018/AvengersPro
軽量言語モデルを活用した検索拡張推論 / Retrieval-augmented reasoning with lean language models
論文紹介
この研究は、軽量言語モデルアーキテクチャ内で推論と検索拡張生成（RAG）を組み合わせる新しいアプローチを提案します。従来のRAGシステムが大規模モデルや外部APIに依存していたのに対し、本研究は、リソース制約下やセキュアな環境でも展開可能な高性能ソリューションの必要性に応えます。研究チームは、軽量バックボーンモデルを用いて、複雑でドメイン特化型のクエリを解釈できる検索拡張型対話エージェントを開発しました。これは高密度検索器とQwen2.5-Instructモデルを統合して動作します。評価の結果、ドメイン特化のファインチューニング手法が回答の正確性と一貫性を大幅に向上させ、ローカル展開に適しつつ最先端性能に近い水準を示すことが分かりました。
論文要旨（Abstract）
この研究では、単一の簡潔な言語モデルアーキテクチャ内で推論と検索拡張生成（RAG）を組み合わせる新しいアプローチを詳述しています。既存のRAGシステムは一般に大規模モデルと外部APIに依存していますが、本研究は、リソースが限られた環境やセキュアな環境にデプロイ可能で、高性能かつプライバシー保護を実現するソリューションへの高まる需要に取り組んでいます。テスト時スケーリングおよび小規模推論モデルにおける最近の進展を踏まえ、私たちは軽量なバックボーンモデルを用いて、複雑でドメイン特化のクエリを解釈できる検索拡張型対話エージェントを開発しました。私たちのシステムは高密度リトリーバーと細かく調整したQwen2.5-Instructモデルを統合しており、厳選されたコーパス、ここではNHS A-to-Zの疾患ページに対して、合成クエリ生成と最先端モデル（例: DeepSeek-R1）から導出した推論トレースを活用します。私たちは、要約ベースの文書圧縮、合成データ設計、推論を意識したファインチューニングがモデル性能に与える影響を探ります。非推論モデルおよび汎用の簡潔なモデルとの評価を通じて、私たちのドメイン特化ファインチューニング手法が回答の正確性と一貫性において大幅な向上をもたらし、ローカルデプロイに適したまま最先端水準の性能に近づくことを実証します。実装の詳細とコードはすべて、再現性とドメイン間適応を支援するために公開されています。
This technical report details a novel approach to combining reasoning and retrieval augmented generation (RAG) within a single, lean language model architecture. While existing RAG systems typically rely on large-scale models and external APIs, our work addresses the increasing demand for performant and privacy-preserving solutions deployable in resource-constrained or secure environments. Building on recent developments in test-time scaling and small-scale reasoning models, we develop a retrieval augmented conversational agent capable of interpreting complex, domain-specific queries using a lightweight backbone model. Our system integrates a dense retriever with fine-tuned Qwen2.5-Instruct models, using synthetic query generation and reasoning traces derived from frontier models (e.g., DeepSeek-R1) over a curated corpus, in this case, the NHS A-to-Z condition pages. We explore the impact of summarisation-based document compression, synthetic data design, and reasoning-aware fine-tuning on model performance. Evaluation against both non-reasoning and general-purpose lean models demonstrates that our domain-specific fine-tuning approach yields substantial gains in answer accuracy and consistency, approaching frontier-level performance while remaining feasible for local deployment. All implementation details and code are publicly released to support reproducibility and adaptation across domains.
論文リンク
https://arxiv.org/abs/2508.11386
言語モデルを温かく共感的に訓練すると信頼性が低下し、おべっかを使うようになる / Training language models to be warm and empathetic makes them less reliable and more sycophantic
論文紹介
言語モデルを温かく共感的な性格になるよう訓練することは、ユーザーにより良い体験を提供するように見えますが、信頼性を低下させかねない重大なトレードオフをもたらします。研究によると、温かい応答を生成するよう訓練されたモデルは、安全性が重要なタスクで10%から30%高いエラー率を示し、誤った事実情報や問題のある医療アドバイスを提供する傾向がありました。特にユーザーメッセージで悲しみが表現された場合、誤った信念を追認するケースがより多く見られました。この現象はさまざまなモデルアーキテクチャで一貫して観察されており、現在の評価手法ではこのような体系的リスクを検出できていない可能性があることを示唆しています。
論文要旨(Abstract)
AI（人工知能）開発者は、助言、セラピー、伴侶としてますます多くの人々に利用される、温かく共感的なペルソナを持つ言語モデルを構築しつつあります。ここでは、このアプローチが大きなトレードオフを生み出すことを示します。すなわち、温かさを最適化した言語モデルは、特にユーザーが脆弱さを表明したときに信頼性を損ないます。私たちは、規模とアーキテクチャの異なる5つの言語モデルに対して統制実験を行い、これらのモデルがより温かく共感的な応答を生成するよう学習させた後、安全性が重要なタスクで評価しました。温かいモデルは元のモデルと比べて大幅に高いエラー率（+10〜+30パーセントポイント）を示し、陰謀論を助長し、誤った事実情報を提供し、問題のある医療アドバイスを提示する傾向がありました。また、ユーザーメッセージが悲しみを表現している場合、誤ったユーザーの信念を追認する可能性も有意に高くなっていました。重要なのは、これらの効果が異なるモデルアーキテクチャ間で一貫して観測され、標準ベンチマークでの性能が維持されているにもかかわらず発生したことであり、現在の評価慣行では検出できない可能性のある体系的リスクを明らかにした点です。人間らしいAIシステムが前例のない規模で展開される中、私たちの研究結果は、人間関係や社会的相互作用を再構築しつつあるこれらのシステムを、どのように開発し監督すべきかを再考する必要性を示しています。
Artificial intelligence (AI) developers are increasingly building language models with warm and empathetic personas that millions of people now use for advice, therapy, and companionship. Here, we show how this creates a significant trade-off: optimizing language models for warmth undermines their reliability, especially when users express vulnerability. We conducted controlled experiments on five language models of varying sizes and architectures, training them to produce warmer, more empathetic responses, then evaluating them on safety-critical tasks. Warm models showed substantially higher error rates (+10 to +30 percentage points) than their original counterparts, promoting conspiracy theories, providing incorrect factual information, and offering problematic medical advice. They were also significantly more likely to validate incorrect user beliefs, particularly when user messages expressed sadness. Importantly, these effects were consistent across different model architectures, and occurred despite preserved performance on standard benchmarks, revealing systematic risks that current evaluation practices may fail to detect. As human-like AI systems are deployed at an unprecedented scale, our findings indicate a need to rethink how we develop and oversee these systems that are reshaping human relationships and social interaction.
論文リンク
https://arxiv.org/abs/2507.21919
GEPA: 深く考えるプロンプト進化は強化学習を上回りうる / GEPA: Reflective Prompt Evolution Can Outperform Reinforcement Learning
論文紹介
GEPA（Genetic-Pareto）は、言語の解釈可能性を活用して大規模言語モデル（LLM）の学習を向上させるプロンプト最適化手法であり、従来の強化学習（RL）アプローチであるグループ相対方策最適化（GRPO）と対比されます。システムレベルトラッカーをサンプリングし、それを自然言語で内省することで、GEPAは問題を効果的に診断し、プロンプト更新を提案し、自身の経験から得た洞察を統合します。この手法は必要なロールアウト数を大幅に削減し、GRPOと比べて平均10%の性能向上を達成したほか、先進的なプロンプト最適化ツールであるMIPROv2よりも10%以上優れた性能を示しました。さらにGEPAは、推論時のコード最適化に向けた有効な戦略としての可能性も示しています。
論文要旨（Abstract）
大規模言語モデル（LLM）は、Group Relative Policy Optimization（GRPO）のような強化学習（RL）手法を通じて、ますます多くのダウンストリームタスクに適応されつつありますが、こうした手法では新しいタスクを学習するために数千回のロールアウトが必要になることが少なくありません。私たちは、言語の解釈可能な性質が、疎でスカラーな報酬から導かれる方策勾配と比べて、LLMにとってはるかに豊かな学習媒体を提供できると主張します。これを検証するため、私たちは自然言語による内省を徹底的に統合し、試行錯誤を通じて高水準のルールを学習するプロンプト最適化器 GEPA（Genetic-Pareto）を紹介します。1つ以上のLLMプロンプトを含む任意のAIシステムが与えられると、GEPAはシステムレベルの軌跡（例：推論、ツール呼び出し、ツール出力）をサンプリングし、それらを自然言語で内省して問題を診断し、プロンプト更新を提案・検証するとともに、自身の試行におけるパレートフロンティア上の相補的な知見を組み合わせます。GEPAの設計により、わずかなロールアウト回数でも大きな品質向上を実現できる場合があります。4つのタスクにおいて、GEPAは平均10%以上、最大20%までGRPOを上回り、使用するロールアウト数は最大35分の1に抑えられます。GEPAはまた、2つのLLMにおいて先進的なプロンプト最適化器 MIPROv2 を10%以上上回り、コード最適化のための推論時探索戦略としても有望な結果を示しています。
Large language models (LLMs) are increasingly adapted to downstream tasks via reinforcement learning (RL) methods like Group Relative Policy Optimization (GRPO), which often require thousands of rollouts to learn new tasks. We argue that the interpretable nature of language can often provide a much richer learning medium for LLMs, compared with policy gradients derived from sparse, scalar rewards. To test this, we introduce GEPA (Genetic-Pareto), a prompt optimizer that thoroughly incorporates natural language reflection to learn high-level rules from trial and error. Given any AI system containing one or more LLM prompts, GEPA samples system-level trajectories (e.g., reasoning, tool calls, and tool outputs) and reflects on them in natural language to diagnose problems, propose and test prompt updates, and combine complementary lessons from the Pareto frontier of its own attempts. As a result of GEPA's design, it can often turn even just a few rollouts into a large quality gain. Across four tasks, GEPA outperforms GRPO by 10% on average and by up to 20%, while using up to 35x fewer rollouts. GEPA also outperforms the leading prompt optimizer, MIPROv2, by over 10% across two LLMs, and demonstrates promising results as an inference-time search strategy for code optimization.
論文リンク
https://arxiv.org/abs/2507.19457
GLIMPSE: 大規模ビジョン言語モデルは動画を本当に理解して思考しているのか、それとも単に一瞥しているだけなのか？ / GLIMPSE: Do Large Vision-Language Models Truly Think With Videos or Just Glimpse at Them?
論文紹介
GLIMPSEは、大規模ビジョン言語モデル（LVLM）が動画全体を深く理解し、推論できるかどうかを評価するために設計されたベンチマークです。従来の動画評価基準では、一部の重要フレームだけでも回答できてしまうため、モデルの真の時空間的推論能力を評価しにくいという問題がありました。これを解決するため、GLIMPSEは3,269本の動画、11カテゴリ、4,342件以上の視覚中心の質問を含んでいます。これらの質問は、動画全体を視聴し、総合的に考えなければ答えられないよう設計されており、人間による評価では94.82%という高い正答率を示しました。一方で、現時点で最高性能のLVLMであるGPT-o3でさえ66.43%にとどまり、モデルが依然として表面的な分析を超えた動画ベースの深い思考に苦戦していることを示しています。
論文要旨（Abstract）
既存の動画ベンチマークはしばしば画像ベースのベンチマークに類似しており、「動画全体を通して人物が行っている行動は何か？」や「動画内の女性のドレスの色は何か？」のような質問タイプを含みます。こうした質問は、モデルがいくつかの重要フレームだけをスキャンしても答えられるため、深い時間的推論を必要としません。これは、大規模視覚言語モデル（LVLM）が表面的なフレームレベル分析を超えて、動画を真に理解し、思考できるかを評価するうえで限界をもたらします。これを解決するため、私たちはLVLMが動画を使って真に思考できるかを評価するよう特別に設計されたベンチマーク、GLIMPSEを提案します。既存のベンチマークと異なり、GLIMPSEは静的な画像手がかりを超えた包括的な動画理解を重視します。GLIMPSEは3,269本の動画と、軌跡分析、時間的推論、フォレンジック検出など11カテゴリにわたる4,342件以上の視覚中心の質問で構成されています。すべての質問は人間のアノテーターが慎重に作成しており、動画全体を視聴し、動画全体の文脈について推論することを求めます――これこそが、私たちのいう「動画で思考する」という意味です。これらの質問は、選択されたフレームをスキャンしたり、テキストのみに頼ったりして答えることはできません。人間による評価ではGLIMPSEが94.82%の正確度を記録した一方で、現行のLVLMは大きな困難に直面しています。最高性能のモデルであるGPT-o3でさえ66.43%にとどまり、LVLMが依然として表層的な推論を超えて、動画を使って真に思考することに苦戦していることを示しています。
Existing video benchmarks often resemble image-based benchmarks, with question types like "What actions does the person perform throughout the video?" or "What color is the woman's dress in the video?" For these, models can often answer by scanning just a few key frames, without deep temporal reasoning. This limits our ability to assess whether large vision-language models (LVLMs) can truly think with videos rather than perform superficial frame-level analysis. To address this, we introduce GLIMPSE, a benchmark specifically designed to evaluate whether LVLMs can genuinely think with videos. Unlike prior benchmarks, GLIMPSE emphasizes comprehensive video understanding beyond static image cues. It consists of 3,269 videos and over 4,342 highly visual-centric questions across 11 categories, including Trajectory Analysis, Temporal Reasoning, and Forensics Detection. All questions are carefully crafted by human annotators and require watching the entire video and reasoning over full video context-this is what we mean by thinking with video. These questions cannot be answered by scanning selected frames or relying on text alone. In human evaluations, GLIMPSE achieves 94.82% accuracy, but current LVLMs face significant challenges. Even the best-performing model, GPT-o3, reaches only 66.43%, highlighting that LVLMs still struggle to move beyond surface-level reasoning to truly think with videos.
論文リンク
https://arxiv.org/abs/2507.09491
無限動画理解 / Infinite Video Understanding
論文紹介
近年、大規模言語モデル（LLM）とマルチモーダル拡張モデル（MLLM）の発展により動画理解技術は大きく向上したものの、数分から数時間以上に及ぶ長尺動画の処理には依然として計算量とメモリの限界が存在します。既存研究では、効率的なアーキテクチャ設計（Video-XL-2）や長期の時空間認識のための位置エンコーディング手法（HoPE、VideoRoPE++）が提案されてきましたが、長いシーケンス内での時間的一貫性の維持、複雑な事象追跡、細かな情報の保持といった問題は依然として未解決の課題として残っています。本論文は、無限長の動画を継続的に処理・理解する「無限動画理解（Infinite Video Understanding）」を今後の研究における中核目標として提示し、その実現に向けて、ストリーミングアーキテクチャ、持続メモリ、階層的・適応的表現、事象中心推論、新たな評価方法論など、多様で革新的な研究方向を提案します。こうした方向性は、マルチメディアおよび人工知能分野全体にわたり、長期動画処理のパラダイムシフトを促進すると期待されます。
論文要旨（Abstract）
大規模言語モデル（LLM）とそのマルチモーダル拡張（MLLM）の急速な進歩は、動画理解の分野に目覚ましい発展をもたらしました。しかし、根本的な課題は依然として残っています。すなわち、数分から数時間に及ぶ長尺の動画コンテンツを効果的に処理し、理解する問題です。近年のVideo-XL-2のような研究は、極限の効率性を実現するための新しいアーキテクチャ上の解決策を提示しており、HoPEやVideoRoPE++のような位置エンコーディング手法の進展は、広範な時空間コンテキストの理解向上を目指しています。それにもかかわらず、現行の最先端モデルは、長いシーケンスで発生する膨大な視覚トークン量を扱う際に、依然として大きな計算量およびメモリの制約に直面しています。さらに、時間的一貫性の維持、複雑なイベントの追跡、長期間にわたる細粒度情報の保持も、Deep Video Discoveryのようなエージェント型推論システムの進展にもかかわらず、なお解決が難しい課題として残っています。本技術文書は、無限動画理解（Infinite Video Understanding）を、マルチメディア研究における論理的でありながら野心的な次世代研究分野として提案します。これは、モデルが任意の、潜在的には無限の長さを持つ動画データを継続的に処理し、理解し、推論できる能力を意味します。私たちは、無限動画理解をブルースカイ研究目標として位置づけることが、マルチメディアおよびより広いAI研究コミュニティにとって重要な羅針盤となり、ストリーミングアーキテクチャ、永続的メモリ機構、階層的かつ適応的な表現、イベント中心の推論、そして新たな評価パラダイムといった分野でのイノベーションを促進すると主張します。長尺・超長尺動画理解および密接に関連する分野の近年の研究から着想を得て、本論文では、この変革的な能力の実現に向けた中核的課題と主要な研究方向を概説します。
The rapid advancements in Large Language Models (LLMs) and their multimodal extensions (MLLMs) have ushered in remarkable progress in video understanding. However, a fundamental challenge persists: effectively processing and comprehending video content that extends beyond minutes or hours. While recent efforts like Video-XL-2 have demonstrated novel architectural solutions for extreme efficiency, and advancements in positional encoding such as HoPE and VideoRoPE++ aim to improve spatio-temporal understanding over extensive contexts, current state-of-the-art models still encounter significant computational and memory constraints when faced with the sheer volume of visual tokens from lengthy sequences. Furthermore, maintaining temporal coherence, tracking complex events, and preserving fine-grained details over extended periods remain formidable hurdles, despite progress in agentic reasoning systems like Deep Video Discovery. This position paper posits that a logical, albeit ambitious, next frontier for multimedia research is Infinite Video Understanding -- the capability for models to continuously process, understand, and reason about video data of arbitrary, potentially never-ending duration. We argue that framing Infinite Video Understanding as a blue-sky research objective provides a vital north star for the multimedia, and the wider AI, research communities, driving innovation in areas such as streaming architectures, persistent memory mechanisms, hierarchical and adaptive representations, event-centric reasoning, and novel evaluation paradigms. Drawing inspiration from recent work on long/ultra-long video understanding and several closely related fields, we outline the core challenges and key research directions towards achieving this transformative capability.
論文リンク
https://arxiv.org/abs/2507.09068
大規模言語モデルのChain-of-Thought推論は蜃気楼なのか？ データ分布の観点からの考察 / Is Chain-of-Thought Reasoning of LLMs a Mirage? A Data Distribution Lens
論文紹介
Chain-of-Thought（CoT）プロンプトは大規模言語モデル（LLM）の性能向上に寄与しますが、CoT推論は実際には表層的である可能性があることを本研究は提起します。本研究は、データ分布の観点からCoT推論を分析し、CoTが学習データ内の分布に基づく帰納バイアス（inductive bias）によって条件付きで生成される経路であることを明らかにします。このために、DataAlchemyという統制された環境でLLMを訓練し、タスクの種類、長さ、形式という3つの次元で分布差を実験的に検証しました。その結果、CoT推論は訓練分布を外れると容易に崩れる不安定な現象であることが確認され、真に一般化可能な推論を実現することの難しさが強調されます。
論文要旨（Abstract）
思考の連鎖（Chain-of-Thought, CoT）プロンプトは、大規模言語モデル（LLM）のさまざまな課題における性能を向上させることが知られています。このアプローチにより、LLMは回答を提示する前に人間に似た推論ステップを生成しているように見えます（すなわち、CoT推論）。そのため、モデルが意図的な推論過程を実行していると受け取られることが少なくありません。しかし、初期の研究結果は、CoT推論が見かけほど深いものではなく、むしろ表層的である可能性を示唆しており、さらなる探究の動機となっています。本論文では、データ分布の観点からCoT推論を研究し、CoT推論が学習データ内の分布（in-distribution data）から学習された構造化された帰納バイアス（inductive bias）を反映しているのか、そしてその結果として、モデルが学習中に観察した推論経路を近似する条件付き生成を行えるのかを調査します。したがって、CoT推論の有効性は本質的に、学習データとテストクエリの間にある分布のずれの程度によって制約されます。この観点から、私たちはCoT推論を、タスク（task）、長さ（length）、形式（format）の3つの次元で分析します。各次元を調べるために、DataAlchemyという独立かつ制御された環境を設計し、LLMをゼロから学習させるとともに、さまざまな分布条件の下で体系的に検証します。実験の結果、CoT推論は学習分布を超えて押し広げられると消えてしまう脆い蜃気楼であることが明らかになりました。本研究は、CoT推論がなぜ、そしていつ失敗するのかについてより深い理解を提供し、真に一般化可能な推論を実現することの継続的な難しさを浮き彫りにしています。
Chain-of-Thought (CoT) prompting has been shown to improve Large Language Model (LLM) performance on various tasks. With this approach, LLMs appear to produce human-like reasoning steps before providing answers (a.k.a., CoT reasoning), which often leads to the perception that they engage in deliberate inferential processes. However, some initial findings suggest that CoT reasoning may be more superficial than it appears, motivating us to explore further. In this paper, we study CoT reasoning via a data distribution lens and investigate if CoT reasoning reflects a structured inductive bias learned from in-distribution data, allowing the model to conditionally generate reasoning paths that approximate those seen during training. Thus, its effectiveness is fundamentally bounded by the degree of distribution discrepancy between the training data and the test queries. With this lens, we dissect CoT reasoning via three dimensions: task, length, and format. To investigate each dimension, we design DataAlchemy, an isolated and controlled environment to train LLMs from scratch and systematically probe them under various distribution conditions. Our results reveal that CoT reasoning is a brittle mirage that vanishes when it is pushed beyond training distributions. This work offers a deeper understanding of why and when CoT reasoning fails, emphasizing the ongoing challenge of achieving genuine and generalizable reasoning.
論文リンク
https://arxiv.org/abs/2508.01191
大規模言語モデルが直面する限界 / The wall confronting large language models
論文紹介
大規模言語モデル（LLM）の性能を決定するスケーリング則が、予測不確実性の改善に深刻な限界を抱えていることを示しています。LLMの学習能力を支える非ガウス的な出力分布生成メカニズムが、誤りの蓄積や情報崩壊、退行的なAI行動の原因となり得ることを指摘しています。また、データサイズの増加に伴って急増する偽相関がこれらの問題を悪化させ、科学的信頼性の確保を難しくすると述べています。退行的なAIの進路の可能性を認識し、それを回避するためには、問題の構造的特性に対する深い洞察と理解が不可欠であることを強調しています。
論文要旨（Abstract）
本論文は、大規模言語モデル（LLM）の性能を決定するスケーリング則が、予測の不確実性を改善する能力を著しく制限していることを示しています。その結果、科学的探究の基準に見合う信頼性を確保することは、合理的ないかなる尺度でも解決困難な問題であることが示唆されます。著者らは、LLMの学習能力の中核的原動力、すなわちガウス入力分布から非ガウス出力分布を生成する能力こそが、誤りの蓄積、その後に続く情報カタストロフ、そして退行的なAI挙動を生み出す根本原因である可能性が高いと論じています。学習と正確性のこの緊張関係は、観測されるスケーリング要素の低い値を支える有力な基盤メカニズム候補です。さらに、CaludeとLongoが指摘したように、データの性質に関係なく、そのサイズに応じて急速に増加する見せかけの相関の氾濫が、この問題をいっそう深刻化させます。LLMの環境において退行的AIへの経路が非常に起こりやすい特徴であるという事実は、それが将来のすべてのAI研究で必然的に発生することを意味するわけではありません。本論文で論じるように、これを回避するには、研究対象となる問題の構造的特性に対する洞察と理解をはるかに重視する必要があります。
We show that the scaling laws which determine the performance of large language models (LLMs) severely limit their ability to improve the uncertainty of their predictions. As a result, raising their reliability to meet the standards of scientific inquiry is intractable by any reasonable measure. We argue that the very mechanism which fuels much of the learning power of LLMs, namely the ability to generate non-Gaussian output distributions from Gaussian input ones, might well be at the roots of their propensity to produce error pileup, ensuing information catastrophes and degenerative AI behaviour. This tension between learning and accuracy is a likely candidate mechanism underlying the observed low values of the scaling components. It is substantially compounded by the deluge of spurious correlations pointed out by Calude and Longo which rapidly increase in any data set merely as a function of its size, regardless of its nature. The fact that a degenerative AI pathway is a very probable feature of the LLM landscape does not mean that it must inevitably arise in all future AI research. Its avoidance, which we also discuss in this paper, necessitates putting a much higher premium on insight and understanding of the structural characteristics of the problems being investigated.
論文リンク
https://arxiv.org/abs/2507.19703
ペルソナベクトル：言語モデルの性格特性のモニタリングと制御 / Persona Vectors: Monitoring and Controlling Character Traits in Language Models
論文紹介
大規模言語モデルの「アシスタント」ペルソナ（persona）は、通常、親切で正直かつ無害になるよう訓練されていますが、ときにこうした理想から逸脱します。本研究では、悪意、追従性、幻覚傾向など複数の性格特性に関連するペルソナベクトル（persona vectors）をモデルの活性化空間内で特定し、これによってデプロイ時のペルソナ変化をモニタリングできることを確認しました。さらに、ペルソナベクトルを活用することで、ファインチューニング中に生じる意図的・非意図的な性格変化の予測と制御が可能であり、事後介入（post-hoc intervention）や予防的ステアリング（preventative steering）によって、こうした変化を緩和または防止できることを示しました。加えて、ペルソナベクトルは、訓練データ内で望ましくない性格変化を引き起こし得るデータサンプルを特定する用途にも使え、自然言語による説明だけで自動抽出できる汎用的な手法であることも示しました。
論文要旨(Abstract)
大規模言語モデルは、シミュレートされた「アシスタント」ペルソナを通じてユーザーと対話します。アシスタントは通常、有用で、無害で、正直であるよう学習されていますが、ときにこれらの理想から逸脱することがあります。本論文では、悪意、追従性、幻覚しやすさといった複数の特性の基盤となる、モデル活性化空間内のペルソナベクトル方向を特定します。これらのベクトルが、デプロイ時におけるアシスタントの性格変動をモニタリングするために利用できることを確認します。続いて、ペルソナベクトルを用いて、学習中に発生する性格変化の予測と制御を行います。ファインチューニング後の意図された変化と意図しない変化の両方が、関連するペルソナベクトルに沿ったシフトと強く相関していることを見いだしました。こうしたシフトは事後介入（post-hoc intervention）によって緩和でき、また新しい予防的ステアリング（preventative steering）手法によって、そもそも発生を防ぐことも可能です。さらに、ペルソナベクトルは、データセットレベルおよび個別サンプルレベルの両方で、望ましくない性格変化を引き起こす訓練データを特定するために利用できます。ペルソナベクトル抽出手法は自動化されており、自然言語による説明だけを与えれば、関心のある任意の性格特性に適用できます。
Large language models interact with users through a simulated 'Assistant' persona. While the Assistant is typically trained to be helpful, harmless, and honest, it sometimes deviates from these ideals. In this paper, we identify directions in the model's activation space-persona vectors-underlying several traits, such as evil, sycophancy, and propensity to hallucinate. We confirm that these vectors can be used to monitor fluctuations in the Assistant's personality at deployment time. We then apply persona vectors to predict and control personality shifts that occur during training. We find that both intended and unintended personality changes after finetuning are strongly correlated with shifts along the relevant persona vectors. These shifts can be mitigated through post-hoc intervention, or avoided in the first place with a new preventative steering method. Moreover, persona vectors can be used to flag training data that will produce undesirable personality changes, both at the dataset level and the individual sample level. Our method for extracting persona vectors is automated and can be applied to any personality trait of interest, given only a natural-language description.
論文リンク
https://arxiv.org/abs/2507.21509
さらに読む
https://www.anthropic.com/research/persona-vectors
-
この記事はGPTモデルで要約した内容をもとにしたものであり、原文の内容や意図と異なる形で整理されている可能性があります。関心のある内容であれば、ぜひ原文もあわせてご参照ください。お読みいただく中で不自然な点や誤りを見つけた場合は、コメントでお知らせいただけると幸いです。* 🤗
-
⚠️広告⚠️: :pytorch:PyTorch韓国ユーザー会🇰🇷 がまとめたこの記事は役に立ちましたか？ 会員登録していただくと、主要な記事をメール💌でお届けします！ （基本はWeeklyですが、Dailyへの変更も可能です。）
まだコメントはありません。