AIの進歩に追いつくための私なりの方法(そしてあなたも必ずやるべき理由)
(blog.nilenso.com)- 生成AIは最も速く進化する技術であり、過小評価も過大評価も危険
- 信頼できる情報源と信用できる専門家を継続してフォローすることが不可欠
- Simon Willison’s Blog、Andrej Karpathy、Every’s Chain of Thought など、バランスの取れた情報パイプラインを推奨
- 公式AI研究所の発表、エンジニアリングブログ、論文は、技術の実際の進歩と限界を把握するために必須
- Twitter/X、ニュースキュレーション、専門家リスト など多様なチャネルにより、最新動向と深い分析の両方にアクセス可能
序論: AIの誤解と情報汚染
- 生成AIは筆者の生涯で 最も速く発展している技術
- しかし AIに対する誤解 も広く存在し、情報環境そのものが非常に混乱している
- 関連技術を十分に理解していない企業、政府、あるいは人々が誤用したり、深刻な被害を引き起こしたりする事例が実際に起きている
- AIを過小評価する(「すぐに消える流行」扱い)か、過大評価する(「プログラマーはもう不要」)という 両極端の誤解 が存在する
- 正しい技術理解の不足 が、こうした誤解の根本にある
AI情報の身につけ方
- AI関連情報を正しく理解することは、思っている以上に簡単ではない
- 歪んだ情報、誇張、あるいは抑圧された言説に 日常的にさらされる環境 である
- 意図的かつ体系的に情報を選別しなければ、誤り、誇張、歪曲に簡単にさらされる危険 がある
- 筆者はバランスの取れた情報パイプラインを構築して助けられており、これを初心者にとって良い出発点として勧めている
情報収集の一般原則
- 一次情報に近い資料を参照する ことが重要
- AI研究所の公式発表や主要人物の意見を一次ソースとして確認すべき
- 二次、三次報道を鵜呑みにしない姿勢が必要
- 信頼できる専門家 のコメントを積極的に探して参考にすべき
おすすめの情報収集の出発点
-
Simon Willison’s Blog
- Simon Willison’s Blog (AIタグ)
- 技術者に最もおすすめの出発点 であり、AIの最前線、応用、セキュリティや倫理の問題まで幅広く扱う
- Django、Datasette の創始者としても有名
- 例: The Lethal Trifecta, LLMs in 2024
-
Andrej Karpathy
- Twitter/X | YouTube
- OpenAI創業メンバーでありTesla AIの統括ディレクター
- AIモデルの内部構造と原理 を最もわかりやすく学べるチャネルであり、文化的影響やAIがもたらす社会的変化の観察も含む
- 例: Deep Dive into LLMs like ChatGPT, How I Use LLMs
Every’s Chain of Thought
- Every’s Chain of Thought
- Dan Shipper(Every共同創業者)が執筆しており、実践的なAI活用記 と、ベンチマーク以外の実際のモデル体験を提供する
- 例: Vibe Check: Codex, Vibe Check: o3
公式AI研究所の資料をモニタリングする方法
- OpenAI(News), Google DeepMind(DeepMind), Anthropic(News), Meta AI(Blog), xAI(News), Qwen(Activity) などの公式ブログ・ニュース・モデルカード・エンジニアリングガイド・論文を定期的に確認する
- 例: OpenAI o3公式発表, Claude 4 System Card
- エンジニアリングブログ: Anthropic Engineering, OpenAI Voice Agent Guide, Gemini Cookbook
- 論文の例: DeepSeek R1論文, Anthropic Biology論文
- 小規模研究所: Nous Research, Allen AI, Prime Intellect, Pleias, Cohere, Goodfire なども参考になる
注目すべきAI専門家と実践エンジニア
- オープンソースツールの制作や、AIエンジニアリングの実務経験を持つ専門家の情報は、公式ガイドより実質的に役立つことが多い
代表的なおすすめ人物とブログ
- Hamel Husain
- Shreya Shankar
- Jason Liu
- Eugene Yan
- What We’ve Learned From A Year of Building with LLMs
- 実運用で構築した経験者が書いたLLM活用事例のアーカイブ
- Chip Huyen
- Omar Khattab (Twitter)
- Kwindla Hultman Kramer (Twitter)
- Han Chung Lee
- Jo Kristian Bergum
- David Crawshaw
- Alexander Doria / Pierre Carl-Langlais
- Nathan Lambert’s “Interconnects”
- Ethan Mollick
- AI Snake Oil – Arvind Narayanan & Sayash Kapoor
AIニュース/メディアとコミュニティの活用
-
Twitter/X
- Twitter/Xリスト
- AIのリアルタイムな議論と情報収集の中心であり、さまざまなニュースや論争を捉えられる
- Twitterフィードを 新聞を読むように15〜20分 で消化し、必要に応じて人物や情報源を追加フォローする
-
Shawn Wang(swyx) / smol.ai
- swyx Twitter | AI News by smol.ai
- Latent Space ニュースレター
- Twitterの代替ソースとして、日々のAI動向の要約を提供
-
Dwarkesh Patel
AIの深い議論/資料コミュニティ
- LessWrong (AI Alignment), AI Alignment Forum: AI安全性、ガバナンス、技術分析など
- Twitterなどの主流チャネルではあまり扱われない高度な議論が多い
- 例: Claude plays Pokémon breakdown, The Waluigi Effect
- Gwern: AI、LLM、トランスフォーマーなどに関する百科事典級の深掘り記事
- 大量のAI関連記事と、LLMスケーリングなどに関する予測的洞察 を含む文章を提供
- 例: The Scaling Hypothesis, You could have invented transformers チュートリアル
- Prompt Whisperers/Latent space explorers
情報収集の実践方法
- すべてのソースを完璧に追う必要はなく、Twitterフィードを新聞のように読む 形で接するのが実践的
- 興味深い記事を見つけたら、その著者をフォローし、ほかの仕事も追っていくような広がりのある読み方もおすすめ
- かつて音楽を掘っていったのと似た情報探索のスタイル
- 知的な探索の楽しさとして向き合えば、義務感ではなく楽しみ になりうる
結論とおすすめリスト
- 提供されたTwitter/Xリストを通じて、上記の専門家や実務家をまとめてフォローできる
- 近いうちにRSS形式のリストも追加予定
5件のコメント
Hacker Newsの意見
LLMがどう動くのかを基本的に理解していれば、PR担当者、ブロガー、業界リーダー、インターネット思想家たちの絶え間ないコンテンツを全部追いかける必要はないと思う
むしろそうしたインタビューや記事を追っていると、実際には役に立たない妙な流行を追ってしまう危険がある
実際、モデル間の違いはここ数年程度の差にすぎず、本質的な違いは大きくなかった。現在の変化の大半はツールや統合作業の側で起きている
LLMは結局「テキストモデル」であり、基礎知識なしに生成されることを常に覚えておく必要がある。そうすれば、どこで有用で、どこには向かないかを見極められる
「自分の生涯でAIが最も速く進歩した技術だった」という主張にも、個人的にはあまり共感できない
私はSVMが台頭していた時代から、「ニューラルネットはジョーク」と扱われていた状況、そしてディープラーニングやさまざまなDLフレームワークが爆発的に増えていった10数年を経験してきた
当時も10年のあいだに本当に急激な進歩があった
Webでは、JSが単なるUX補助だったものが、シングルページアプリが標準になるまで変化したのと同じだった
要点は、「主要インフルエンサーのリスト」に載るような立場でないなら、ただ黙々と自分にとって重要な時点まで待つほうが、ずっと良い戦略だということだ
私もbackbone.jsの時代以降、10年間Web開発トレンドをすべて無視していたが、Reactが必要になった時点で数日学んだだけですぐ使えた
LSTMも5年前には皆が実装方法を学ぼうとしていたのに、今ではトランスフォーマーのせいで時代遅れになった
キャリアを通じて感じたのは、「速く動く」というのは「成熟していない」という意味だということだ
むしろ昔ながらの統計モデル(GLMなど)と、それらの今なお実用的な使い方を身につけるほうが、その時々の流行りの「prompt hack」を追うより、現場でははるかに生産的な解決策になる
1つ目は、既存ツールと少し違うか、少し性能が良い新ツールだ(既存にない機能なら使う価値はあるが、大半はすぐ時代遅れになる)
Kimi-K2やGPT 4.1のような名前も、数か月後には誰も言及しなくなっているかもしれない
2つ目は、本当にモデルへ新しい能力が追加された場合だ
たとえば、RL(reinforcement learning)、chain of thought、実際に動くコーディングエージェント、決定版級のマルチモーダルモデル、賢いツール連携などだ
こうした大きな跳躍があったときだけ注目すれば十分だ
実際、500ポイントを超えたHN投稿だけざっと見ても、最新の流れは自然とわかる
LLMの本当の実力を学ぶ最良の方法は、ブログや動画などではなく、自分で作ってぶつかってみる経験だと思う
もともと研究の99%は漸進的な進歩だ(それ自体は良いことなので、そこで落胆すべきではない)
論文の大半は必要以上に長く、きちんと読めば数学的直感だけでもある程度予測できる(アイデアさえわかれば、結果も事前にだいたい見当がつく)
分野が急速に変わっているように感じやすいが、実際にはそこまで速くはない
私自身も個人的事情で1年休んで戻ってきたとき、大きく変わったものはないと気づいた
こうした見方があれば、「追いつき続ける」プレッシャーから解放される
今つらいなら、それはまだ専門性が少し足りないという意味であって、取り残されたという意味ではない
誰でも走り方を知っていれば一歩遅れてでもついていけるように、焦りは頭の中の心配にすぎない
実際のコアアルゴリズム(次トークン予測の仕組み)そのものは、大半の非専門家にはあまりピンとこない
dot productやembeddingのような細部は誰も気にしない。説明しても残りにくく、大きな助けにもならない
必ずしも「最新トレンド」を追う必要はなく、ただゆるく関心を持ち、自分の効率を本当に高めてくれる機能や手法だけを選んで試し、使えるものだけ積み上げていけばいいと思う(誰かがXで何を勧めていた、みたいな話はあまり信頼していない)。むしろAI誇大視に批判的な研究者たちの意見を聞いて多くを学べた[https://x.com/burkov]。現状では誇張、変化、不確実性が…
この記事は「なぜ」をうまく説明しておらず、リストの「どうやって」に説得力が欠けると感じる。私の大切な時間はほかに使っても十分だ
Gergeley Oroszの「Pragmatic Engineer」ニュースレターを購読している(最近はAIテーマが多い)。Gary MarcusのSubstackもチェックしている(よりLLM懐疑的な視点だ)
https://newsletter.pragmaticengineer.com/
https://substack.com/@garymarcus
また、LangchainやPydanticAIのようなPythonパッケージのニュースも自動で追っている(こうしたプロジェクトは業界の実質的なトレンドをある程度反映している)。X(Twitter)はもう使っていないが、Simon Willisonのような人はBlueSkyやMastodonにも時々投稿する。Sebastian RaschkaやChip HuyenなどはLinkedInにも投稿している。あちこちに散らばってはいるが、結局重要な話はたいてい目に入る
自分が重要なことを見落としていたのかもしれないが、核心的で意味のあるアップデートは自然とHNのトップやコメントで言及されるものだ
LLMやフロンティアAIモデルの話を主に追いたいなら、このおすすめリストはとても優れていて、半分以上は私も別途見つけていた人物だ
X(Twitter)でAIアカウントのリストを作ってフォローしており、全体として最もしっかりした情報源だ
一部はブログやポッドキャストのRSSも使える(研究者なら論文自体のRSSは必須だ)
追加するなら https://epoch.ai、ポッドキャストではDwarkesh Patel、ブログではPeter Wildeford、@omarsar0(DAIR elvis)、それからさまざまな研究者を直接フォローすることだ(その中には情報提供より娯楽寄りの人もいる)
この分野は情報環境が深刻に汚染されている。特にNYTのような政治中心で扱うメディアだけを追うと、かえって偏った不正確な像しか得られない
ちなみに生成AIと直接関係のないML分野(例: タンパク質、ゲノム、気象モデル、diffusion・画像生成研究など)は、情報源がまったく異なる
AI/MLというカテゴリは広すぎて、一度に全部を追い切るのは不可能だ
本当に追わなければならないかと言えば、そんな必要はない
たいていは単に新技術や最新トレンドへの好奇心からそうしているだけだ
ただしソフトウェア開発のように、AIを完全に無視すると中長期的にキャリアへ致命的になりうる分野もある(ツールそのものを覚える形で対応するだけでもよい)
私は今、全体動向を把握する必要のある仕事なので継続して追っている
Simon Willisonのブログだけでも、最新の高品質な情報を学ぶには十分だ(ノイズがほとんどなく、S/Nが最高だ)
わざわざ「トレンド」を追う必要はない
テック職は今後ますます減り、いずれ急激に減少するだろう(AIによって1人で10人分をこなし、その後はホワイトカラー、ブルーカラー(Amazon物流センターのロボット職など)も同様になる)
個人的には今週GPT Plusの購読を解約した。もう「あの怪物」を育てたくない
地図(例: 旅行ルート、友人たちとのサイクリングコースなど)の支援機能は、Geminiの無料版のほうがむしろ優れている
最初のおすすめだけ追っていれば(simowのブログを読めば)、たいてい十分だ
Andrej Karpathyの講義にとても助けられた
YouTubeにも上がっている(https://www.youtube.com/@AndrejKarpathy)
機械学習研究者をメンタリングしたり支援したりする立場ではあるが、Andrejの声を聞くと自分が何も知らない学生のように感じる
最初は奇妙だったが、今ではその謙虚さ自体がとても大切な資産だ
本当に「自分は何も知らない」という気持ちが重要だ
うわ、読みやすさがひどすぎる…
この程度で読みにくいと感じるなら、それは本文の問題ではないように思います。
同感です
今この時代に不可欠な文章の一種。