こんにちは、私は昨日OpenAIを去りました (twitter.com/karpathy) 2 ポイント 投稿者 GN⁺ 2024-02-15 | 1件のコメント | WhatsAppで共有 関連記事 Noam Shazeer、OpenAIに合流 1 ポイント · 1件のコメント · 18 일 전 イリヤ・サツケバー、OpenAIを退社 1 ポイント · 1件のコメント · 2024-05-15 Googleを去ることについてのFAQ 18 ポイント · 2件のコメント · 2024-01-18 技術業界を引退してオフラインで暮らします 7 ポイント · 5件のコメント · 2026-05-30 Andrej Karpathy、OpenAIを再び退社 16 ポイント · 3件のコメント · 2024-02-14 1件のコメント GN⁺ 2024-02-15 Hacker Newsの意見 Karpathyが会社を辞めるたびに、自由時間で素晴らしい教育資料を作り、この分野が一段階飛躍するように感じる 例はある？ この分野にそこまで詳しくない そうだね。今回はオープンソース関連コンテンツがたくさん出てくるといい Karpathyは本当に優れた先生だ。彼のコンピュータビジョンの授業を受けたことがあるが、もっと教えることに時間を使い、その仕事に真剣に取り組んでほしい 人気のAIインフルエンサーであることは優れた研究者であることを意味しないし、優れたビジネスリーダーや創業者であることとはむしろ強い負の相関があるように見える 複雑なものを優雅に説明するという、今まさに切実に必要とされている失われた技術に戻って、ゆっくり取り組んでほしいし、シリコンバレーの詐欺師たちと時間を無駄にする方向へあまり戻らないでほしい 考えれば考えるほど、自分のツイートがすぐHacker Newsのトップページに載るというのは、人にかなり影響を与えそうだ。名前と影響力のせいで提案や機会が殺到するが、それが本当に最適なポジションだからとは限らない 知識に適切な報酬が与えられていればよかったのに。YouTubeがそれに一番近そうだが、YouTubeの教育者たちでさえ、専門性を教える代わりに再生数を稼ぐためにどれだけ多くの時間を費やさなければならないかを示している 名前と影響力のために提案が殺到し、実際の適性とは違うことがあるというのは、残念ながら人生の縮図のようだ。最も適した人が特定のポジションを得ることはまれで、過剰適格としてはねられたり、人事段階で落とされたり、オフィス復帰要求・カウンターオファーの拒否・非公開の違法要因といった曖昧な理由で断られたりすることもある あまり良いゲームではないので、配られた手札を活用する人を責めるのは難しい 職業全体として、教える仕事がもっと高く評価されればいいのにと思うことがある。研究はせず、教えながら生計を立てたい 良い教師は優れた研究者になると思う。自分の分野を非常によく理解していなければならず、必要な質問を予測して自ら問い、常に新しい目で分野を見て、協業も上手で、何よりコミュニケーション能力が高いからだ Karpathyのような優れた教育者は、何かを一から作り、私にも理解できるように説明してくれる。これが講師の能力の問題なのか、それとも私のような学生が他の資料を理解できるだけの力を持っていないからなのか、気になる 小さな訂正だけど、「b-lined」ではなくbee-linedだ 普段はこういうことを指摘しないが、「b-lined」は「B-list celebrity」のように低い優先順位を意味する、逆の意味として読まれる可能性もある 正直、OpenAIは急速に輝きを失いつつあるように思える プラグインは失敗だったし、GPTsは少しマシだが、まだプロダクトマーケットフィットは見えていない。GPT-4はいまだに王座にいるが、以前ほど圧倒的ではなく、論文を公開しないので研究がうまくいっているのかも明確ではない 今やGPT-5はものすごく良いものでなければならないが、本当にそうなるのかは分からない この分野が特に速く動いているのは分かるが、GPT-4は登場してからまだ1年も経っていない。四半期ごとに地殻変動級の新モデルを出さないからといって、輝きを失っていると言うのは少し滑稽に見える 人気が爆発し、倫理的な問いもより重要になった以上、とにかく最初に公開するより、いくつかの要素をきちんと磨き込む時間が必要なのかもしれない さっきGemini Ultraを使ってみたが、GPT-4よりあまりに出来が悪くてかなり衝撃を受けた。コーディングの質問を少しするだけで、毎回存在しない新しい構文を幻覚し、動作もしなければ実在もしない選択肢AやBで続けるかを聞いてくるような感じで、奇妙で苛立たしい時間の無駄になる 結局、頼んだ言語での結果だけでも出させようと1時間使った後で、完全に役に立たないと気づくことになった Googleがここまで遅れていて、こんな価値のないものをリリースしたことに驚く。しかもお金まで取ろうとするとは、その度胸もすごい もちろんGPT-5には期待しているが、少し改善するだけでもOpenAIはまだはるかに先を行っている Google社員たちはOpenAIが消えてほしいと思っていそうだ。OpenAIのせいでGoogleがまさにIBMのような会社に見えるからだ 面白い場面はここにある: https://twitter.com/Suhail/status/1757573182138290284 Ollamaで80GBのMistralモデルを動かすと、ChatGPT 3.5と同等かそれ以上に動作する。魔法がもはやOpenAIだけのものではなくなったという点で、世の中にとって良いことだと思う 競合がここ最近3か月だけでも追いついてきた速度には驚かされる OpenAIが急速に輝きを失っているなら良いことだ あの会社の中で実際に何が起きているのかはまったく知らないが、Altmanが追い出されたときに社員たちがTwitterで見せた振る舞いは本当に恐ろしく、危険信号と悪い雰囲気に満ちていた 不人気な意見かもしれないが、Karpathyの名声と影響力はほぼすべて、優れた教育者でありコミュニケーターであることに由来していると思う。 その名声に比べて、AIを前に進めた実際の貢献の度合いはよく分からない。 彼の教育コンテンツには深く感謝しているし、それによって影響力を得てキャリアを維持できたのは喜ばしいことだ。それで十分に裕福になって、100%教育に集中できるようになるといいと思う。 2015年に彼は The Unreasonable Effectiveness of Recurrent Neural Networks という記事を書いた: https://karpathy.github.io/2015/05/21/rnn-effectiveness/ その記事は、OpenAIのAlec Radfordが Unsupervised sentiment neuron の研究を行うきっかけになった: https://openai.com/research/unsupervised-sentiment-neuron OpenAIは、Googleが作った新しいTransformerアーキテクチャを使ってそのモデルを大きくしたらどうなるか見てみることにし、GPTというものを作った: https://cdn.openai.com/research-covers/language-unsupervised... 同意しない。優れた教材の価値はしばしば過小評価されていると思う。Karpathyは、過度に複雑で密度の高い数学的説明に満ちたAI分野に活気を吹き込んだ。 例えば CS 231 はStanfordで最も人気のあるAI/MLの授業の一つだった。2015〜2017年ごろにその授業を受け、その後AI分野で成長した学生の数を考えると、かなりの功績がその授業にあると言っても無理はない。 一歩ずつ導きながら、どれほどシンプルにできるかを示してくれる講師は非常に貴重だ。分野への参入障壁を下げるうえで重要な役割を果たす。 長期的には、Karpathyが作った資料のようなものを通じてAIに入ってきた新しい人材が、大きなブレイクスルーを生み出すだろう。彼の “Hacker's Guide to Neural Networks” はほぼ10年前の資料だが、バックプロパゲーションを理解するうえで最も鮮明な「なるほど」の瞬間を与えてくれた。 教育とコミュニケーションは重要だ。新しい人を分野に引き込み、すでに分野にいる人も成長させ、どちらも長期的な成長と進歩に不可欠だ。 教育以外の活動だけを指して「実際の貢献」と呼ぶのは、優れた教育者が進歩の行進の中で果たす役割を完全に貶める表現だ。そうした教育がなければ、今どこにいただろうか。 彼はAIを前に進めることに貢献した。「実際の」という但し書きを付ける必要すらない。優れた教育者を失うことは、優れたエンジニアを失うのと同じくらい残念に見るべきだ。 Karpathyは画像キャプショニングで先駆的な研究を行い、視覚とテキストの意味空間を整列させた。これは現代の画像生成器の概念的土台だ。 また、リカレントニューラルネットワークを見事に分析し、言語モデルの内部で何が起きているのかを説明した初期かつ最高の解説の一つだった。 Hacker Newsのコメント欄は、誰かの履歴書を公に評価する場として、考え得るフォーラムの中でも最も正当性の低い場所の一つだ。議会ならともかく。 「当面の計画は個人プロジェクトをやりながら、どうなるか見てみることだ。長く見てきた人なら、それがどんなものになるか見当がつくだろう」と言っていたが、ここに分かる人はいる？ 彼の YouTubeシリーズ のことだと思う。楽しみだ。 以前のプロフィールには、OpenAIで JARVIS を作っていると書かれていた。 彼は動画シリーズで、GPT-3の小さく効率的なバージョンを作っていた。 GitHubで確認できる: https://github.com/karpathy オープンソースモデル方面にも関心があり、/r/localllamaにもいる。 自由時間にもっと小説を書いてほしい。https://karpathy.github.io/2015/11/14/ai/ が本当に好きだった。 物語の腕前にキューブを揃える技まであるなら、子どものパーティーでもかなりうまくやれそうだ。しかも教えたり作ったりもできる。エベレストにはまだ登っていないのかな？ 強く同意。素晴らしい短編だった。いつかもっと拡張された形で見てみたい。 YouTubeチャンネルに専念するつもりなのだろうか？楽しみだ。彼のコンテンツは本当に素晴らしい。 私も楽しみ。約8年前に彼が公開した char-rnn のようなリカレントニューラルネットワーク用のPythonミニチュアは、学習に本当に役立った。 そうすると数百万ドルを手放すことになる気がする。もちろん経済的に恵まれていて早期リタイアも可能だろうが、それでも数百万ドルは大金だ。 彼がOpenAIに再び加わったのは、ほぼちょうど1年前のようだ: https://twitter.com/karpathy/status/1623476659369443328 新仮説: Karpathyは少しお金に困っていて、オプションの25%がベストするまで正確に1年待った。 関連記事: “Andrej Karpathy Departs OpenAI”[0]（159点、2時間前、コメント71件） [0]: https://news.ycombinator.com/item?id=39365288 その記事には強いペイウォールがあるので、該当コメントはこちらにマージする。少し待ってほしい。 彼の固定ツイート「最もホットな新しいプログラミング言語は英語だ」を見ると、投稿の最後にある「私を知っている人なら、私が何をするか分かるだろう ;)」というメッセージは、何らかの開発者ツールを示唆しているように思える。 技術ビジョナリーならありそうなことで、ハッカーは結局、自分自身をより良くするためのツールを作るのを我慢できないようだ。 私の暇つぶしの推測より良い情報はある？ フルタイムYouTuberになるだろう。 彼は何度か LLMベースのオペレーティングシステム について推測していた。それなら本当に面白そうだ。
1件のコメント
Hacker Newsの意見
Karpathyが会社を辞めるたびに、自由時間で素晴らしい教育資料を作り、この分野が一段階飛躍するように感じる
Karpathyは本当に優れた先生だ。彼のコンピュータビジョンの授業を受けたことがあるが、もっと教えることに時間を使い、その仕事に真剣に取り組んでほしい
人気のAIインフルエンサーであることは優れた研究者であることを意味しないし、優れたビジネスリーダーや創業者であることとはむしろ強い負の相関があるように見える
複雑なものを優雅に説明するという、今まさに切実に必要とされている失われた技術に戻って、ゆっくり取り組んでほしいし、シリコンバレーの詐欺師たちと時間を無駄にする方向へあまり戻らないでほしい
考えれば考えるほど、自分のツイートがすぐHacker Newsのトップページに載るというのは、人にかなり影響を与えそうだ。名前と影響力のせいで提案や機会が殺到するが、それが本当に最適なポジションだからとは限らない
名前と影響力のために提案が殺到し、実際の適性とは違うことがあるというのは、残念ながら人生の縮図のようだ。最も適した人が特定のポジションを得ることはまれで、過剰適格としてはねられたり、人事段階で落とされたり、オフィス復帰要求・カウンターオファーの拒否・非公開の違法要因といった曖昧な理由で断られたりすることもある
あまり良いゲームではないので、配られた手札を活用する人を責めるのは難しい
普段はこういうことを指摘しないが、「b-lined」は「B-list celebrity」のように低い優先順位を意味する、逆の意味として読まれる可能性もある
正直、OpenAIは急速に輝きを失いつつあるように思える
プラグインは失敗だったし、GPTsは少しマシだが、まだプロダクトマーケットフィットは見えていない。GPT-4はいまだに王座にいるが、以前ほど圧倒的ではなく、論文を公開しないので研究がうまくいっているのかも明確ではない
今やGPT-5はものすごく良いものでなければならないが、本当にそうなるのかは分からない
人気が爆発し、倫理的な問いもより重要になった以上、とにかく最初に公開するより、いくつかの要素をきちんと磨き込む時間が必要なのかもしれない
結局、頼んだ言語での結果だけでも出させようと1時間使った後で、完全に役に立たないと気づくことになった
Googleがここまで遅れていて、こんな価値のないものをリリースしたことに驚く。しかもお金まで取ろうとするとは、その度胸もすごい
もちろんGPT-5には期待しているが、少し改善するだけでもOpenAIはまだはるかに先を行っている
面白い場面はここにある: https://twitter.com/Suhail/status/1757573182138290284
競合がここ最近3か月だけでも追いついてきた速度には驚かされる
あの会社の中で実際に何が起きているのかはまったく知らないが、Altmanが追い出されたときに社員たちがTwitterで見せた振る舞いは本当に恐ろしく、危険信号と悪い雰囲気に満ちていた
不人気な意見かもしれないが、Karpathyの名声と影響力はほぼすべて、優れた教育者でありコミュニケーターであることに由来していると思う。
その名声に比べて、AIを前に進めた実際の貢献の度合いはよく分からない。
彼の教育コンテンツには深く感謝しているし、それによって影響力を得てキャリアを維持できたのは喜ばしいことだ。それで十分に裕福になって、100%教育に集中できるようになるといいと思う。
その記事は、OpenAIのAlec Radfordが Unsupervised sentiment neuron の研究を行うきっかけになった: https://openai.com/research/unsupervised-sentiment-neuron
OpenAIは、Googleが作った新しいTransformerアーキテクチャを使ってそのモデルを大きくしたらどうなるか見てみることにし、GPTというものを作った: https://cdn.openai.com/research-covers/language-unsupervised...
例えば CS 231 はStanfordで最も人気のあるAI/MLの授業の一つだった。2015〜2017年ごろにその授業を受け、その後AI分野で成長した学生の数を考えると、かなりの功績がその授業にあると言っても無理はない。
一歩ずつ導きながら、どれほどシンプルにできるかを示してくれる講師は非常に貴重だ。分野への参入障壁を下げるうえで重要な役割を果たす。
長期的には、Karpathyが作った資料のようなものを通じてAIに入ってきた新しい人材が、大きなブレイクスルーを生み出すだろう。彼の “Hacker's Guide to Neural Networks” はほぼ10年前の資料だが、バックプロパゲーションを理解するうえで最も鮮明な「なるほど」の瞬間を与えてくれた。
教育以外の活動だけを指して「実際の貢献」と呼ぶのは、優れた教育者が進歩の行進の中で果たす役割を完全に貶める表現だ。そうした教育がなければ、今どこにいただろうか。
彼はAIを前に進めることに貢献した。「実際の」という但し書きを付ける必要すらない。優れた教育者を失うことは、優れたエンジニアを失うのと同じくらい残念に見るべきだ。
また、リカレントニューラルネットワークを見事に分析し、言語モデルの内部で何が起きているのかを説明した初期かつ最高の解説の一つだった。
「当面の計画は個人プロジェクトをやりながら、どうなるか見てみることだ。長く見てきた人なら、それがどんなものになるか見当がつくだろう」と言っていたが、ここに分かる人はいる？
GitHubで確認できる: https://github.com/karpathy
自由時間にもっと小説を書いてほしい。https://karpathy.github.io/2015/11/14/ai/ が本当に好きだった。
YouTubeチャンネルに専念するつもりなのだろうか？楽しみだ。彼のコンテンツは本当に素晴らしい。
彼がOpenAIに再び加わったのは、ほぼちょうど1年前のようだ: https://twitter.com/karpathy/status/1623476659369443328
関連記事: “Andrej Karpathy Departs OpenAI”[0]（159点、2時間前、コメント71件）
[0]: https://news.ycombinator.com/item?id=39365288
彼の固定ツイート「最もホットな新しいプログラミング言語は英語だ」を見ると、投稿の最後にある「私を知っている人なら、私が何をするか分かるだろう ;)」というメッセージは、何らかの開発者ツールを示唆しているように思える。
技術ビジョナリーならありそうなことで、ハッカーは結局、自分自身をより良くするためのツールを作るのを我慢できないようだ。
私の暇つぶしの推測より良い情報はある？