Doug Lenatの死去
(substack.com/garymarcus)- AI研究者 Doug Lenat は、明示的な表現を扱う 記号AI を実際のシステムとして実現しようとした中心人物であり、Gary Marcus は彼を「AIが失った巨人」と評した
- Lenat は人生最後の40年間を Cyc に注ぎ込み、常識を機械が解釈可能な形で符号化しようとした。Cycorp は大きな商業的成功こそなかったものの、40年間存続した
- Cyc の試みは、現在の大規模言語モデル（LLM）が依然として苦手とする 常識の表現と推論 という問題を真正面から狙ったものだった
- Ken Forbus と Muktha Ananda は、Cyc が記号表現、推論、知識グラフ／Web研究に残した影響を高く評価している
- Lenat の最後の論文のひとつである Getting from Generative AI to Trustworthy AI は、Cyc の教訓を現代の LLM と結び付けようとする試みだった
Doug LenatとCycの位置づけ
- Doug Lenat は、Marvin Minsky、John McCarthy、Allen Newell らが探究した記号AIを、実際に動作するものにしようとした研究者だった
- Gary Marcus は、ニューラルネットワークと記号AIの統合を自らの生涯のテーマとしてきたが、純粋な記号AIの領域では Lenat のほうがはるかに深く踏み込んでいたと見ている
- Lenat は最後の40年間で Cyc プロジェクトを立ち上げ、主導した
- Cyc は、世界に関する常識を機械が解釈できる形で符号化しようとする試みだった
- Cyc と、それを受け皿とするために作られた Cycorp は、大きな商業的成功を収めたわけではなかった
- それでも Cycorp が40年後も事業を継続している点は、AI企業としては珍しい事例である
- Marcus にとって Cyc は、単純に成功か失敗かで分けにくい 先駆的実験 である
- Cyc は完全には定着しなかったが、人工汎用知能に現実的な進展があるほど、その重要性はむしろ増して見えるかもしれない
常識推論の問題と最後の論文
- 若いAI研究者のかなりの部分は Cyc をよく知らないが、Cyc が何を試みたのかは知るべきだという問題意識がある
- これは Cyc を大規模言語モデルの即時の代替品として使おうという意味ではない
- 機械に 常識を表現し推論させる という目標は、いまなお残っている
- Yejin Choi の2023年TED講演 Why AI is incredibly smart and shockingly stupid は、現在のAIシステムが見かけ上の成功にもかかわらず常識を欠いているという流れを引き継いでいる
- Marcus と Ernie Davis による2019年の著書 Rebooting AI も同じテーマを扱っている
- 大規模言語モデルは、質問の表現や学習データの偶然性によって、ある場合には正しく別の場合には誤ることがあり、常識の幻想 を生み出しうる
- 具体的な誤りをパッチしても、似たタイプの別の事例が次々に生じる可能性がある
- Cyc は、より深く堅牢な答えを見つけようとする試みだった
- Northwestern University のAI研究者 Ken Forbus は、Cyc を、記号表現と推論が常識のかなりの部分を捉えられることを初めて示した事例だと評価している
- 産業界では数十億件の事実を含む知識基盤は珍しくないが、Cyc は表現力の面でいまなお最も進んでいると見ている
- Forbus の研究グループは数十年にわたり Cyc の表現を使ってきた
- Google Learning Platform Director の Muktha Ananda は、Lenat のビジョン、粘り強さ、執念を高く評価し、Cyc の仕事が自身の知識グラフ／Web研究の歩みに大きな刺激を与えたと述べている
- Marcus と Lenat はこの1年間、Cyc から得た教訓を整理する長い論文を共同執筆しようとしていた
- 原稿はほぼ 40,000語 に達し、科学とオーラルヒストリーが混ざった形だった
- Cyc はスコープの面では壮大だったが、実装は扱いにくく、学術的観点から最大の問題は 独自仕様のシステム である点だった
- Lenat が病を得て時間が限られると、より短く圧縮した別の論文を執筆した
- 2023年7月31日、arXiv に Getting from Generative AI to Trustworthy AI: What LLMs might learn from Cyc が公開された
- Cyc が試みたことを振り返る
- 真の人工知能に期待すべき要素を凝縮する
- Lenat が身を置いた深い記号AIの伝統と、現代の LLM のあいだの和解を求める
1件のコメント
Hacker News の意見
Doug は時に率直すぎるところもあったが、根本的には親切で寛大な人であり、自分のビジョンと、ともに働く人々への献身は尊敬に値するものだった
2016〜2020年に Cycorp で働いていたが、オフィスが大きくなかったので Doug をよく見かけた
あるとき週次の全員ランチの場で、新車を買う予定なので、古いがよく手入れされた今の車を必要としている人はいないかと尋ねた。ある社員が、娘がもうすぐ運転を始めるのだと遠慮がちに手を挙げると、その場ですぐに車をプレゼントした
彼はボードゲームも好きで、会社の人たちと D&D グループをやっていたが、いつも秩序にして善のキャラクターしかやらなかったと聞いた。別のやり方を知らない人だったのだという
17歳の高校生のとき Doug Lenat と面接し、Cycorp の夏季インターンとして採用され、初めての本格的なプログラミングの仕事に就いた
そのインターンシップは人生を変えるものだったし、文字どおり子どもに大胆にチャンスをくれた Doug には今でも感謝している
Doug は卓越したコンピュータ科学者であり、人工知能の先駆者だった。Cycorp は小さな会社だったので会議に多く出席したが、彼が技術のあらゆる細部を理解していることは明らかだった
Cycorp は時代を30年先取りしていたが、実際には機能しなかった。知らない人に説明するなら、汎用人工知能を作ろうとした最初の大規模な商業的試み、事実上、最初の OpenAI のような存在だった
Doug からは、途方もなく大きな野心を抱く方法と、あきらめない方法を多く学んだ。何十年もの間 Cycorp にしがみつき、資金を維持し、優秀な人材を雇って問題を押し進め続けた人はほとんど見たことがない
また、17歳のインターンとして具体的にどんな仕事をし、どんなスキルを持っていたのかも気になる
1985〜1989年ごろ、Doug と Cyc で一緒に働いていた。PARC でも時期は重なっていたが、そこではあまり交流しなかった
最初にやったことは、既存の実装を捨ててゼロからやり直し、階層システムとすべてのブートストラップコードを設計することだった
小さな中核チーム、主に私と Guha と Doug で過ごした楽しい時期だったが、時間が経つにつれて知識ベースの恣意性に不満を覚えるようになった
個人的な理由で Cyc プロジェクトを離れるころには、近い関係にあり、自分のコードの上で動いていたにもかかわらず、プロジェクトの土台についてかなり否定的になっていた
時間が経って自分がより賢くなってから、ようやくその価値を改めて認めるようになった。当時はあまりにも純粋数学的な視点だけで見ていたのだと思う
その後、別の仕事をするうちに Doug と Mary とは連絡が途絶えてしまい、そのことを残念に思っている
Doug Lenat の冥福を祈る。2000〜2006年に Austin の Cycorp で働いていた
あまりに早い別れだったが、Doug は米国の軍事・情報機関におけるコンピュータ科学研究の発展に貢献する機会を得た
いつか LLM による人工知能の急速な進歩が鈍化すれば、関心は Cyc Project と Cycorp、そのメンバーたち、そして Doug Lenat 博士が推し進めた論理的推論と知識表現へ再び戻ってくるだろう
なぜなら、ニューラルネットワーク推論がそれほど速いなら、私たちは C プログラムを、コンパイラが効率的に実行する演繹的論理推論にコンパイルするのではなく、ニューラルネットワークにコンパイルしていたはずだからだ
むしろ LLM のおかげで、これまで以上に現代的になっている
ニューラルネットワーク人工知能と記号人工知能はいずれ統合されるだろうし、記号モデルは正規化によって、必要不可欠な効率性と堅牢性をもたらす
あれほど多くのデータが、ほとんど成果もないまま埃をかぶって残っていることに何の意味があるのかと思う
ニューラルネットワーク推論があらゆる計算を実行する最速の方法だなどと、誰が主張しているのか？
別の技術であるニューラルネットワークをけなすより、記号的手法で現実の問題を解けるようにすることに集中したほうがよい。たとえば、記号的手法で堅牢なメールスパム検出システムをどう作れるだろうか？
Doug の仕事や考えをもっと聞きたいなら、昨年 Lex Fridman が Doug と行ったかなり長いインタビューがある
https://www.youtube.com/watch?v=3wMKoSRbGVs&pp=ygUabGV4IGZya...
Doug は、約5年後にその見積もりが1桁ほど外れており、実際には約1,000万個に近いと分かったと語っている
関連する文献や出版物があるのか気になる。なぜ1億個ではないと分かるのか、なぜ有限だと見なせるのか、なぜ組合せ爆発が起きないのかが疑問だ
もちろん38年間続けるには継続的な評価指標があったはずだが、その論理がよく理解できず、参考文献や批判リンクを知りたい
1990年代に Cyc のことは聞いたことがあったが、まだ存続しているとは知らなかったし、そこまで長く維持したのは印象的だ
Wikipedia の記事もかなり良い: https://en.wikipedia.org/wiki/Cyc#Criticisms
それでも100万または1,000万という主張は、数十年にわたって維持するには強い主張なので、本当に強い指標に支えられていたのか気になる
リンク先の論文を読むのが面白いのは、彼らがコンピューター内部にあるべきだと考えた原則を、コミュニティ外部の構造として作ることにずっと魅力を感じてきたからだ
人々が論証と結論のコーパスを探索し、協業し、論証グラフの一部に同意しなかったり追加したりして、時間とともに豊かにしていけるなら非常に有用だと思う
そうすれば、他の人々が同じ推論を読んで採用することもできる
ときどき作業している http://concludia.org/ でこうしたアイデアを試しているが、今は概念をいじり、Akka(Pekko) プログラミングをもっと学ぶための口実に近い
いつかユーザーアカウントと編集可能な論証を追加して、本物のウェブサイトにするつもりだ
論証は証拠にリンクされ、概念は関連概念にリンクされる、といった具合だ
https://en.m.wikipedia.org/wiki/Zettelkasten
ブレインストーミングに良さそうだ
政治的分断が大きい国で、公共の議論を収束させる方法を想像していて思いついた
一種の構造化された公開討論フォーラムで、人々が階層構造のどこで意見が分かれているのか、そしてより重要なことに、実際にはどれほど多くの点で合意しているのかをよりよく見られるようになると思う
Cyc はいつも、Russell と Whitehead の Principia に相当する人工知能版のようなものだと考えてきた
技術的には野心的で、それ自体として興味深いが、結局のところ独立した方法としては、どれだけ長く取り組んで規則を追加し続けても、うまく機能しない誤ったアプローチだという感じがする
それでもニューラルネットワークモデルをテストし、教えるには有用かもしれないと思う
Lenat が Cyc を始めた当時には、今日の人々が「常識推論」と呼ぶレベルを示すニューラルネットワークモデルを動かす計算資源はなかったので、その道から出発したのは十分理解できる
“Getting from Generative AI to Trustworthy AI: What LLMs might learn from Cyc”
Lenat の最後の論文で、7月31日に Gary Marcus と共に出したもの
https://news.ycombinator.com/item?id=37354601
この論文を読むと、2つの考えが揺らぐかもしれない。今日のニューラルネットワークモデル、つまり LLM が常識推論を示すという考えと、Cyc に代表されるアプローチと LLM に代表されるアプローチが互いに排他的だという考えだ
文章の終盤を読むと、自分が作って考えたものをもっと公開すべきだという気持ちになる
自分は Doug Lenat でもないし、自分のコンテンツはインターネットにノイズを増やすだけである可能性が高いが、それでも自分のアイデアを自分と一緒に死なせたり、利害関係者の取締役会に支配させたりしてはいけない
オープンソース信奉者ではないが、オープンソースは、自分が始めた仕事を他の人が引き継げるようにする良い方法だ
この1年、Gary Marcus と Doug は、結局完成しなかった長く複雑な論文を書こうとしていた。Cyc は範囲という点では途方もないものだったが、実装は扱いにくかった
学術的な観点から見た Cyc の最大の問題は、プロプライエタリソフトウェアだったことだ
より多くの人に理解してもらうため、Doug は Cyc から得た教訓を次世代の研究者に伝えようとしていた。何がうまくいき、なぜうまくいったのか、いつ、なぜ失敗したのか、実装が難しかったものは何か、何を違う形にすればよかったのか、といったことだ
彼の最後のメールの1つは、論文をできるだけ早く出そうという懇願で、紆余曲折を経て7月31日に arXiv に Getting from Generative AI to Trustworthy AI: What LLMs might learn from Cyc (https://arxiv.org/ftp/arxiv/papers/2308/2308.04445.pdf) が掲載された
短い文章だが、Cyc がやろうとしていたことのレビューであり、真の人工知能に期待すべきことの要約であり、彼が属していた深い記号主義の伝統と現代の大規模言語モデルとの和解を促す文章でもある
重要だと思うことを共有すればいい
小さく、一見見込みが低そうな知識の改善にも意味があり得る。そうしたものが十分に多くなれば、統計的には針を動かせる可能性がある
もちろん関連する内容を見つけられなければならず、それ自体も大きな問題だ
直接会ったことはないが、Doug の仕事はコンピューティングにおける最大のインスピレーションの1つだった
2018年に書いたブログ記事をリンクするのが適切に思える。Lenat の仕事が Cyc につながっていく軌跡を簡単にまとめ、論文リンクを集めた記事だ
http://blog.funcall.org//lisp/2018/11/03/am-eurisko-lenat-do...
Cyc（発音は「Syke」）は、ずっと前からぼんやり興味を持って見ていたプロジェクトだが、きちんと掘り下げる時間と余裕がなかった
包括的オントロジーと知識ベースを基盤にした人工知能プロジェクトだ
Wikipedia の概要: <https://en.wikipedia.org/wiki/Cyc>
プロジェクト／会社のホームページ: <https://cyc.com/>
「きれいな」方法で人工知能をやろうとした最後の巨大な試みであり、その失敗が、現在大きく成功している「汚い」人工知能アプローチを生む助けになった
この失敗が Doug を貶めるわけではない。誰かが試みる必要があり、それが最も賢い人の1人だったのは幸いだ
動かないことが明らかになった後も長くしがみつきすぎたとは思うが、ブレークスルーは実際に起こることもある
現在の機械学習ブーム自体も、かつて捨てられた手法の復活であり、それでも手放さずにいた人々が、動かすためのコツを見つけたものだ
数年前、人工知能に進出しようとしていたコンサルティング会社と仕事をしたが、その会社は主に金融顧客に売るプラットフォームとして Cyc を選んでいた
しかし実際のプロジェクトが1つでも始まったようには見えず、何を売れるのかについて明確な見取り図もなかった
Lenat を詐欺師だとは思いたくない。誠実で優秀な人に見えたからだ
ただ、Cyc は有用なことをほとんど成し遂げられなかったにもかかわらず、非常に大げさに売り込まれていたと思う。ウェブサイトは技術的な表現であふれているが、40年事業を続けた後でもケーススタディが1つもない