確率的人工知能技術

 (arxiv.org)
1 ポイント 投稿者 GN⁺ 2025-03-12 | 1件のコメント | WhatsAppで共有

確率的人工知能

  • 人工知能は、人間の知能が求められる作業を実行できる人工システムの科学と工学を意味する。ここ数年、学習ベースのデータ中心アプローチにおいて興味深い発展があり、機械学習とディープラーニングは、コンピューターシステムが世界を認識する新しい方法を可能にした。強化学習は、囲碁のような複雑なゲームやロボティクスの課題においてブレークスルーをもたらした。

  • 知能の中核的な側面は、予測を行うだけでなく、その予測の不確実性を理解し、意思決定を行う際にこの不確実性を考慮することである。この論文は「確率的人工知能」に関するものである。

確率的アプローチ

  • 第1部では、機械学習に対する確率的アプローチを扱う。データ不足による「認識的不確実性」と、たとえばノイズのある観測や結果に由来する「偶然的不確実性」の違いを論じる。確率的推論への具体的なアプローチと、効率的な近似推論に対する現代的なアプローチを論じる。

逐次的意思決定タスクにおける不確実性の考慮

  • 第2部では、逐次的意思決定タスクにおいて不確実性を考慮することを扱う。アクティブラーニングとベイズ最適化を取り上げるが、これは認識的不確実性を減らすために情報をもたらす実験を提案し、データを収集するアプローチである。強化学習とニューラルネットワークによる関数近似を用いた現代的なディープRLアプローチを取り上げる。モデルベースRLの現代的なアプローチを論じるが、これは探索を導くために認識的不確実性と偶然的不確実性を活用し、安全性を考慮する。

関連記事

1件のコメント

 
GN⁺ 2025-03-12
Hacker Newsのコメント

  • テキストには優れた説明図があり、確率の観点から機械学習を高品質に概観しているように思える

    • 最近、Zhaoの無料教科書『Mathematical Foundation of Reinforcement Learning』とYouTube講義に深い感銘を受けた
    • 時間があまりないなら、Zhaoの概要図をざっと眺めるのがおすすめ。これは分野全体の優れた概念地図になっている
    • そして紹介動画を見るのもおすすめ

  • 数日前にこの資料を見つけ、Andreas KrauseがGaussian ProcessesとBanditsについて深く興味深い研究をしているので、真剣に読む口実を探していた

  • 実存的な現実は状態の配列ではなく、潜在的な分布である

    • 潜在性は存在し、確率はその分布の数学的記述である。すべての属性は次元（ベクトル）である
    • 状態は単なる解決の瞬間的な測定にすぎない。潜在性は建設的および破壊的干渉を通じて相互作用する
    • 建設的および破壊的干渉は、瞬間的測定の「今」という状態へと解決される

  • LLM（つまりニューラルネットワーク）が、たった今吐き出した回答の確率を言えるのかという質問

    • 昔、大学でこうしたことを学び、各用語に確率と信頼係数を持たせたPrologインタープリタを作ったことがある

  • モデルの解釈可能性を民主化し、ゲーマーでも探索できるようにするGUIが必要だと思う

    • 基本的には、LLMを3D形状に変換し、人間が理解できる3D世界に配置する別のモデルを訓練するということ
    • 単純な例では、LLMを緑の野原とオブジェクトとして表現し、人間を唯一のエージェントとして設定する

  • 適切なカーネルを持つGaussian Processesは、少数のデータポイントと小さなパラメータセットだけでも非常に強力だと思う

    • コンピュータビジョンの作業で、入力を調整する予測可能な非線形プロセスとして使ったが、結果は非常に良かった

  • このテーマに関する最高の参考資料と部分的に重なっているようだ。Gareth Jamesらの『An Introduction to Statistical Learning』に言及している

    • こちらの方がより取っつきやすいのか気になるし、R/Pythonの例も役に立つだろう

  • Kevin Murphyが彼のProbabilistic Machine Learningシリーズの名称を変更している

  • Gemini 2.0 Experimental 02-05はこれを「たった」107Kトークンとして見ている

    • これを分解する助けが必要なら有用

  • Laplace Approximationは、複雑な確率分布を単純なGaussian（ベルカーブ）に変換する「高速で簡単な」方法である

    • 最も高い点を見つけ、その点で曲率を合わせることで機能する
    • 高速で簡単だが、実際の分布がベルカーブと異なる場合、非常に不正確で過信につながる可能性がある

  • ETH Zurichでこの授業を受けたが、最も好きな授業の一つだった

    • 特に、不確実性を定量化する方法と、強化学習の出発点となるブロックをどう構築するかが印象的だった
    • データサイエンティストとMLエンジニアにとって素晴らしい読み物。この文書は講義ノートである