トランスフォーマーベースのスプレッドシート技術

 (byhand.ai)
2 ポイント 投稿者 GN⁺ 2025-02-08 | 1件のコメント | WhatsAppで共有
  • AI by Hand の教材を手作業でカスタマイズする過程で解答の誤りが生じる可能性があり、ユーザーが 練習問題と解答を直接作れるツール が必要になった
  • 複数の実装方法を検討した末に Google Sheets を選び、より多くの人がアクセスして修正できる形を採用した
  • 公開資料にはトランスフォーマー練習用の Google Sheet が含まれており、すぐに確認できる
  • 既存の AI by Hand 教材は複数の AI 教育者とともにカスタマイズされ、世界各地の教室で使われている
  • まだ 初期段階 のため、利用中のフィードバックがツール改善に直接影響しうる

Google Sheetsで作ったAI by Hand練習ツール

  • 目標は、人々が カスタムの数字と解答 を入力して、自分だけの AI by Hand 練習問題を作れるようにすること
  • 複数の技術を検討した結果、アクセシビリティを広げるために Google Sheets を使うことにした
  • トランスフォーマー練習用の Google Sheet が公開された

手作業カスタマイズの限界とフィードバック募集

  • この数か月、複数の AI 教育者と協力して AI by Hand 練習教材 をカスタマイズしてきた
  • 教材は世界各地の教室で使われており、カスタマイズの過程はすべて手作業で進められている
  • 手作業の過程では解答に誤りが入り込むことがあり、学生がそれを見つけた事例もあった
  • ツールはまだ 初期段階 のため、フィードバックを求めている

関連記事

1件のコメント

 
GN⁺ 2025-02-08
Hacker News のコメント

  • 純粋に気になるのだけど、これをなぞってみた後で、人々は何を理解したと感じるのだろうか
    線形回帰のすべての行列乗算を全部書き下せば、本当に理解したと言えるのだろうか。実装方法が肝なのか、それとももっと深い直感を作ってくれるのかが気になる
    可視化の価値は分かるが、それ以上に実際の教育的メリットが何なのかはよく分からない。ML/数学側の人間だが、10年以上講義はしていないので、私が見落としている部分があるのかもしれない

    • むしろ逆の効果を狙ったもののように思えるし、少なくとも私にはそうだった
      GPT-3 が初めて出たときは、限定的な ML のバックグラウンドがあってもほとんど魔法のように見えたが、その後 3Blue1Brown の Transformer 動画を見て、数学自体はかなり単純で少しがっかりしたくらいだった
      要点は、単純な基本要素でも十分に大きくスケールさせると驚くような結果を出せるということで、Conway のライフゲームのような原理から、非常に複雑で有用な創発的振る舞いが生まれ得るという感覚だった
    • こうしたトイ例は、核心となる構造を本当に理解したか確認するうえで価値がある
      Transformer ブロックを説明する図や方程式を見ることはできるが、そこから実際の実装へどう移るかはまた別の問題だ。こうした例を通じて、どこで何が計算されているのか、ベクトルと行列の次元がどうなっているのかを確認できる
      LLM を扱おうとする大半の人には必要ないだろうが、個人的には動作原理をかなり低いレベルまで掘り下げるのが好きだ。実際の Transformer モデルのソースコードより、こうした例のほうがずっと触りやすく、トイ例を身につけると実際のコードもつかみやすくなる
    • 基礎の領域では教育的価値がある。特に数学が苦手な CS 学生に、自動微分が微積分をどのように行列代数へ変えるのかを示せる
      残りの部分も、講義と一緒に進めるワークシートを渡すことに意味がある。コーディングには ipynb を好むが、アルゴリズムは手計算も良い。2025年にこういうことをしなければ、授業の4分の1はスマホを見て、残りの4分の3は講義に来ない可能性が高い
      論文やソースコードを一人で読めて、数学が怖くないなら、こうした資料の対象者ではないかもしれない
    • こうした可視化は、機械学習の神秘化を取り払うという点で素晴らしい。結局は一つの手順にすぎず、人間的な意味での知能が入っているわけではないことを示してくれる

  • AI の基礎と内部動作に関する直感を教える関連資料として AI Unplugged[1] が良い。ペン、鉛筆、カードのような道具を使ってゲームのように活動できる
    AI/ML に詳しくないさまざまな聴衆、子どもにも大人にも何度も使ってみたが、毎回楽しんでくれ、自分たちが暮らす現代世界を少し理解できるようになるようだった
    [1] http://www.aiunplugged.org

  • Excel でも GPT-2 を作れる: https://www.youtube.com/watch?v=yjD2n_e9E3w&ab_channel=Sprea...

  • タイトルには Spreadsheet とあり、実際には Google Sheets を使っているのに、ここでなぜ Excel と言ったのか分からない

    • もう戻されている。投稿時のタイトルは “Transformer Implemented Using Excel” だった

  • Google Docs の /copy エンドポイント機能を使っているのは良い。教えるときの面倒をかなり減らしてくれる

  • これも Postgres のようなデータベース内で、ストアドプロシージャ、関数、トリガーを使って実装できるとも見なせる
    ある意味でデータベースは、はるかに堅牢なクエリ言語が付いたスプレッドシートだ

  • 似た HN スレッド: https://news.ycombinator.com/item?id=42967173

  • あわせて見る価値のある資料として、数式だけを使って Excel で実装した古典的なコンピュータビジョンの基礎がある: https://github.com/amzn/computer-vision-basics-in-microsoft-...
    元の HN 投稿: https://news.ycombinator.com/item?id=22357374
    ちなみに私が主著者です