リチャード・サットンとアンドリュー・バート、2024年チューリング賞を受賞

• ACM A.M. Turing Award Honors Two Researchers Who Led the Development of Cornerstone AI Technology

• Andrew Barto and Richard Sutton Recognized as Pioneers of Reinforcement Learning

  • ACMは、2024年の ACM A.M. Turing Award 受賞者として Andrew G. Barto と Richard S. Sutton を選出した。両氏は強化学習の概念的およびアルゴリズム的基礎を開発した。
  • Barto はマサチューセッツ大学アマースト校の情報・コンピュータ科学名誉教授であり、Sutton はアルバータ大学のコンピュータ科学教授として活動している。
  • Turing Award はコンピューティング分野のノーベル賞と呼ばれ、Google の財政支援により 100 万ドルの賞金が授与される。

• What is Reinforcement Learning?

  • 人工知能（AI）分野は主に、認知して行動するエージェントを構築することに重点を置いている。強化学習（RL）は、そのようなエージェントが報酬シグナルを通じてより良い行動を学習する過程である。
  • 強化学習の基礎は、1980年代初頭に Barto と Sutton が心理学における観察をもとに、一般的な問題フレームワークとして強化学習を定式化したことから始まった。
  • 両氏は、マルコフ決定過程（MDP）に基づく数学的基礎を活用して強化学習アルゴリズムを開発した。

• 主な貢献

  • Barto と Sutton は強化学習の基本的なアルゴリズム的アプローチを開発し、特に時間差学習、方策勾配法、ニューラルネットワークを活用した学習関数表現を含んでいる。
  • 両氏の教科書 "Reinforcement Learning: An Introduction" は今なおこの分野の標準的な参考書として使われており、75,000回以上引用されている。

• 強化学習の実際の応用

  • 強化学習はここ15年で深層学習アルゴリズムと結びつき、大きな発展を遂げた。代表的な例として AlphaGo の囲碁での勝利や ChatGPT の開発がある。
  • 強化学習は、ロボットのモーター技能学習、ネットワーク輻輳制御、チップ設計、インターネット広告の最適化など、さまざまな分野で成功を収めている。

• 強化学習の神経科学的インスピレーション

  • 最近の研究によれば、AI で開発された特定の強化学習アルゴリズムが、人間の脳のドーパミン系を説明するうえで最も適しているという結果が示されている。

• ACM A.M. Turing Award について

  • Turing Award は 1966年から、情報技術産業を発展させたコンピュータ科学者やエンジニアを称えるために授与されている。

• 2024 ACM A.M. Turing Award 受賞者

  • Andrew Barto はマサチューセッツ大学アマースト校の情報・コンピュータ科学名誉教授であり、さまざまな賞を受賞している。
  • Richard Sutton はアルバータ大学のコンピュータ科学教授であり、さまざまな研究機関で活動しながら多くの賞を受賞している。

[GN⁺]

Hacker Newsの意見

• とても素晴らしいことだ。妻と私は Andy Barto とその妻の家を購入した

  • 購入の過程で入札合戦があった
  • 彼が数学者だと知って、素数 prime number でオファーした
  • 彼の業績が認められるのを見て本当にうれしい

• すごい！十分に受賞に値する人だ。彼らは RL の教科書2版を無料 PDF で提供している

  • 1982年から AI の実務者として働いてきたが、RL は個人的に習得が難しいテーマだった
  • Sutton/Barto の本、White 教授の Coursera の RL 講義などが大いに役立った。おすすめする
  • 彼らの本のサンプルプログラムは Common Lisp と Python で提供されている

• The Bitter Lesson を読み返すのに良い時期だ

• Sutton は人類継承主義者であり、人間がみな死んでも構わないと思っている。彼は信頼できず、祝福されるべき人物ではない

• 物理学者たちに賞を与えた方がもっとよかっただろう

• Sutton がアメリカではなくカナダのエドモントンに住んでいるのは驚きだ

  • これは彼が名誉や金よりも誠実さと真摯さを重視していることを示している

• 彼らは素晴らしいが、残念ながら Sutton と Barto の AI 本は本当にひどい

  • Trask の Grokking Machine Learning と、数か月にわたる ML 論文の実装の方がよいだろう

• 自分が教えた講義で彼らの RL 本を使った

  • 美しく書かれており、しかも無料で提供されている
  • 美しい文章にしばしば気を取られて、実際の内容を見落としがちだった

• Andrew Barto と Richard Sutton の Turing Award 受賞を心から祝福する

  • 学生時代、彼らの教科書 Reinforcement Learning: An Introduction がこの分野に入るきっかけになった
  • 「Temporal Difference Learning」に関する第6章が、逐次的意思決定に対する考え方を根本から変えた
  • 今日でもなお、読むことを強く勧めたい古典だ

• 長い時間がかかったことだ。アイデアを最初から最後まで貫き通し、それを動的計画法の本の一節ではなく、ひとつの分野全体へと拡張した

  • もっと多くのゲームが実際に RL を使っていてほしい。すべてが始まった場所なのだから。本当に素晴らしいことだ