Spreadsheets are all you need - スプレッドシートで学ぶAI

 (spreadsheets-are-all-you-need.ai)
21 ポイント 投稿者 GN⁺ 2024-03-15 | 2件のコメント | WhatsAppで共有

ExcelでAIを学ぶ

  • Excelで実装された実際のLLMを通じて、AIがどのように動作するのかを学ぶ
  • GPT-2のForward Passを外部API呼び出しなしで、Excel関数だけで実装
  • スプレッドシートを理解できればAIを理解できることを目指す
  • レッスン1: ExcelでGPTを理解する
  • レッスン2: Byte Pair Encoding と Tokenization
  • 追加: Excel実装を詳細に見ていく（Transformersを理解している人向け）
  • XLSB（Excel Binary）形式なので、ダウンロードして実行可能（Mac/Windows対応だがWindows推奨）
  • 実装上の制限
    • BPE、マルチヘッドAttention、マルチレイヤーPerceptronステージを含む、小型の完全なGPT-2（124Mパラメータ）モデル
    • 推論/Forward Passのみ可能（学習なし）
    • コンテキストは10トークン長に制限
    • 1単語あたり10文字に制限
    • Zero Temperature出力のみ可能

FAQ

  • Google Sheetsについて: このプロジェクトはGoogle Sheetsから始まったが、モデル全体が大きすぎたためExcelへ移行した。Google Sheetsで動作させる方法は引き続き模索中だが、単一ファイルではExcelのようには収まらない可能性が高い。
  • ChatGPTのように対話できない理由: 非常に短いコンテキスト長に加え、対話型チャットボットにするための指示チューニングと、人間のフィードバックからの強化学習（RLHF）が不足しているため。
  • 名前の由来: 「Spreadsheets-are-all-you-need」という名前は、Transformerの機械学習アーキテクチャを最初に説明した有名な論文「Attention Is All You Need」のタイトルをもじって付けられた。

GN⁺の意見

  • このプロジェクトは、AIと機械学習へのアクセシビリティ向上に貢献している。Excelのような身近なツールを使って複雑な技術を理解できるようにすることで、非専門家にもAIの基本原理を学ぶ機会を提供している。
  • Excelによる実装は、実際のAIモデルの動作を視覚的に理解するのに有用だが、実際のAI開発に使われるものではない。したがって、この方法でAIを学んだからといって専門のAI開発者になれるわけではない。
  • このような教育ツールは、AIに対する一般大衆の関心を高め、AI技術の民主化に貢献しうる。しかし実際のAIシステムを構築する際には、より専門的なツールやフレームワークが必要になる。
  • 類似の教育目的プロジェクトとしては、GoogleのMachine Learning Crash Courseや、CourseraでのAndrew Ng教授のMachine Learning講座などがある。これらの講座は理論と実践を組み合わせ、より深い学習を提供している。
  • この技術を導入する際には、実際のAIモデル開発とは異なるアプローチが必要であることを理解しなければならない。このプロジェクトは教育目的に焦点を当てており、実際のAI開発プロジェクトではTensorFlowやPyTorchのような専門的なAIフレームワークを使うのが一般的である。

関連記事

2件のコメント

 
GN⁺ 2024-03-15
Hacker Newsのコメント

  • クリエイターのあいさつと感謝

    • プロジェクト制作者: 投稿してくれてありがとう。質問や提案に答えつつ、人々がLLM（Large Language Models）をよりよく理解する助けになればと思っている。次の動画は埋め込み（embeddings）に関するもので、まもなく完成予定。

  • スプレッドシートを使ったニューラルネットワーク教育

    • Jeremy Howard: 長年にわたりスプレッドシートを使ってニューラルネットワーク（NNs）を教えてきたが、この方法は教育的で直感的。

  • スプレッドシートでニューラルネットワークを説明

    • これで「ただの曲線当てはめ（curve fitting）」と言う代わりに、友人たちに「ただのスプレッドシートにすぎない」と説明できる。

  • スプレッドシートのリンク共有

  • RLHFの必要性に関する質問

    • 大規模言語モデルをチャットボットに変換するのに必要とされるインストラクションチューニング（instruction tuning）や人間のフィードバックからの強化学習（RLHF）がなくてもよいのではないか、という疑問。

  • GPT-2をスプレッドシートに実装した方法への感嘆

    • GPT-2をスプレッドシートにどう実装したのか印象的で、著者にこのプロジェクトがオープンソース化されるのか質問。

  • スプレッドシートでのGPT-3またはGPT-4実装可能性

    • スプレッドシートでGPT-3やGPT-4を実装できない理由への疑問。

  • LLMの理解に役立つ素晴らしいプロジェクト

    • このプロジェクトは素晴らしく、LLM（Large Language Models）を理解する助けになるよう7人に共有した。

  • ExcelでのPDE解法事例の共有

    • Excelで偏微分方程式（PDEs）を解く事例があることを共有。FFT（Fast Fourier Transform）や特殊関数については知っていたが、これは興味深く楽しそう。

  • 投資銀行を顧客にするAI企業

    • 投資銀行を顧客に据えるAI企業のアイデアは非常に賢明。