Kerasの創始者フランソワ・ショレが語る生成AIの現在

 (youtube.com)
8 ポイント 投稿者 seanlee10 2024-09-30 | 2件のコメント | WhatsAppで共有

##LLMはまだ道半ば

  • LLMは単に大量の情報を記憶して必要なときに取り出して使っているにすぎず、本当の意味で人間レベルの知能を持っているとは言えない。本当の人間レベルの知能とは、ごく限られた学習データだけでもそれを一般化し、初めて遭遇する状況でも問題を解決できるレベルを指す。
  • 犬と猫を見分けるために、人間は数枚の写真を見るだけで済むが、CNNモデルには25,000枚の写真が必要だ。人間の脳は人工知能とは比べものにならないほど少ない学習データだけで、非常に速く正確に対象を分類できる。
  • 同じ数学の問題を解くにしても、原理を理解しないまま、似た問題を解いた経験をもとにそのとき適した公式を思い出して解いたのだとしたら、それは検索がうまかっただけで、本当の知能とは言いにくい。暗記して100点を取った人と、原理を理解して100点を取った人は区別しなければならない。
  • 今のLLMで、規模を大きくするほど性能が向上することも、依然としてハルシネーションを起こすことも、まさにこれが理由だ。学習量を増やせば取り出して使える公式が増えるので、より多くの状況に対処できるようになるし、取り出すべき公式を見つけられなかったり誤って選んだりすると、ハルシネーションが起きる。
  • ただし、公式を暗記して問題を解くという点では、実は人間も同じだ。本当にごく一部の少数を除けば、ほとんどの人は覚えた公式を状況ごとに当てはめて生きている。ただ、ここにも人工知能と人間の違いがある。
  • 現在の人工知能は浅い検索しかしていない一方で、人間は連鎖する思考によって深い検索ができる。
  • 「知能」と呼ばれる概念は、さらに次の3つのレベルに分けられる。
  1. 現象を見て原理を理解し、幅広い範囲に応用する能力（天才）
  2. すでに学習した複数のパターンを深く検討し、最適なパターンを活用する能力（普通の人）
  3. すでに学習した複数のパターンを浅く見て、すぐ見つかるものを活用する能力（現在のLLM）
  • 現在のLLMの位置は3番で、1番まで行ければ理想的だが、少なくとも2番には到達しなければ、私たちが言うAGI（Artificial General Intelligence）にはたどり着けない。

##100万ドルの賞金がかかったARC Prize

##成果を共有してこそ進歩は速くなる

  • OpenAIが情報を共有しない文化を業界に広めたことで、AGIの登場は少なくとも5年から10年ほど遅れた。
  • AGIを作るには多くの試みが必要だが、OpenAIが注目を集めたことで、業界の人的・物的資源がすべてLLMを作るところにだけ集中してしまうからだ。
  • 必然的に他の研究分野への支援は減り、成果も遅れて出てくる。
  • それだけでなく、以前とは違って、OpenAIは論文を発表しても技術的な詳細を共有しないため、業界の他の研究者たちがその論文をもとに別の研究を進めるのが難しい。
  • OpenAIが登場する前までは、Attention is all you need の論文のように、複数機関の研究者が所属に関係なく協力して人工知能の急速な発展をもたらしていたが、OpenAIは自分たちの発見を業界と共有しない文化を広め、業界の発展を妨げている。
  • ARC Prize大会を通じて、研究者たちが再び成果を活発に共有し、業界の進歩が再び加速することを期待している。

関連記事

2件のコメント

 
readiz 2024-10-09

o1モデルは2番にかなり近づいているようですね。
 
seanlee10 2024-10-09

はい、私もそう思います。