2017年にリリースされたAI学習プラットフォーム Teachable Machine

• Teachable Machineは、機械学習モデルの作成をWeb上ですぐに試せるようにしたツールで、2017年の初期バージョンも別ページとして残っている
• ユーザーはファイルのアップロードやリアルタイムキャプチャで学習データを入力でき、Webカメラ・マイクのデータはコンピューターの外に送信しない方式も選択できる
• 対応モデルは、画像、短い音サンプルベースのオーディオ、Webカメラ・ファイルベースの身体姿勢分類に分かれる
• Arduino連携、顔のジェスチャーによる音のトリガー、紙とWebカメラを使ったゲームコントローラーなどの実験事例も提供されている
• 授業資料はAI + EthicsとReady AI Lessonを含み、機械学習の分類概念と社会的影響を合わせて扱う構成になっている

---

Webで作るTeachable Machineモデル

• Teachable Machineは、機械学習モデルをすばやく簡単に作れるよう設計されたWebベースのツールである
• 2017年に出た初期バージョンは、別ページで開いて見ることができる
  • first version of Teachable Machine from 2017
• 学習例は2つの方法で入力できる
  • ファイルを使用
  • リアルタイムキャプチャ
• Webカメラやマイクのデータがコンピューターの外へ出ないよう、オンデバイス方式だけで使うこともできる
• 作成できるモデルは3つに分類される
  • Images: ファイルやWebカメラで画像分類モデルを学習
  • Sounds: 短い音サンプルを録音してオーディオ分類モデルを学習
  • Poses: ファイルやWebカメラの前での姿勢を使って身体位置分類モデルを学習
• 頭の傾き方向を認識するモデルは、Pose: Head Tiltチュートリアルで試すことができる

実験事例と授業資料

• Teachable Machineで作られた実験事例は、ハードウェア、アクセシビリティ、ゲーム入力デバイスまで多岐にわたる
  • Tiny Sorter: ArduinoとTeachable Machineを接続したDIY実験
  • Steve Salingの動画: 顔のジェスチャーで音をトリガーするなど、新しいコミュニケーション手段にTeachable Machineを活用
  • Teachable Snake: Vince MingPu ShaoがWebカメラと紙をゲームコントローラーに変えた実験
• さらに多くの制作事例は、Teachable MachineタグのExperimentsページで確認できる
• 共有したい制作物がある場合は、[e-mail]へメールを送ることができる
• 教材は、アルゴリズムシステムのバイアスと機械学習の社会的影響を合わせて扱う
  • AI + Ethics: MIT Media Lab Personal Robots GroupのBlakeley H. Payneが作成したK-8 Common Core技術授業で、学生がアルゴリズムシステムのバイアスを理解し始められるよう構成されている
  • Ready AI Lesson: Teachable Machineを探求し、機械学習、分類、社会的影響を学ぶK-12授業
• 追加の質問はFAQで確認できる

[GN⁺]

Hacker Newsのコメント

• 趣味プロジェクトにちょうどいい完璧なユースケースがあるので、タイミングが良い。
  以前のバージョンも見たことがあるが、かなり制限があった。"以前の Teachable Machine は 3 クラスしか学習できなかったが、今は好きなだけクラスを追加できる"。
  これがどこまでスケールするのか気になる。たとえば数十万クラスも可能なのか、可能ならどんな影響があるのか知りたい。
  • v1 は非常に制限が多かったが、とても簡単で、すでにかなり印象的な形の転移学習を使っていた。
    たとえば、事前学習済みネットワークが 3 つの集合に属する画像に対して出力する 1000 次元ベクトルを取り出し、元のモデルは Imagenet で学習されているので、その後は K-近傍法で「新しい」画像がどの集合に属するかを予測する、という仕組みだった。
    v2 では実際に事前学習済みネットワークの重みをファインチューニングしている。当時、JavaScript の機械学習ライブラリがどれだけ急速に進歩しているかを示す良い例だった。
• 6 年前の Teachable Machine 関連の古い動画を見つけた。
  https://www.youtube.com/watch?v=3BhkeY974Rg&ab_channel=Googl...
  そして 2019 年に Google が v2 を公開した: https://blog.google/technology/ai/teachable-machine/
  できることは限られているので、入門向けの出発点としては良いが、プラットフォームが急速に開発されているかどうかはよくわからない。
• すばらしい。雪の日に子どもたちと一緒にやるのにぴったりの活動だ。
• MediaPipe[1] はかなり調べたことがあるが、Teachable Machine は聞いたことがなかった。
  2 つの製品は一緒に使うことを意図しているようにも見えるので、関係があるのか気になる。
  Google が特にブラウザでのエッジ機械学習のユースケースにもっと投資しているのはうれしい。MediaPipe を知らずにこれが目に入ったなら、ぜひ見てみる価値がある。VTubing コミュニティで特によく使われており、BlazePose ベースの体・顔・手のポーズ追跡実装は性能が高い。
  1: https://developers.google.com/mediapipe
• 参考までに、これは新しいプロジェクトではない。6 年前の HN での議論がある: https://news.ycombinator.com/item?id=15399132
  • 新しいリンクには「2017 年の最初のバージョン」とあるので、今回のリリースを Google はバージョン 2と見ているようだ。
• 当時も議論されていた。
  Teachable Machine: ブラウザ上でカメラを使いリアルタイムで機械に教える - https://news.ycombinator.com/item?id=15399132 - 2017 年 10 月、コメント 90 件
• 数年前にあった面白いリデザインの試みだった。
  https://fairpixels.pro/work1/index.html
• これは基本的にマルチモーダル LLMがやっていることに近いのではないかと思う。理解できるものなら、その場で何でもできるのだから。
  ここでの違いは何だろう?
  • これはどこにでもエクスポートして実行できるより小規模なモデルだ。
    最小のマルチモーダル LLM でさえ、ここからエクスポートしたモデルよりはるかに大きいはずだ。
  • 核心は「教える」部分にある。すでに学習済みのモデルを推論に使うのではなく、モデルを学習、ここではチューニングしている。
    新しいデータを与え、そのデータがモデル更新に使われる。既存のマルチモーダルモデルで推論するだけでは、分類のやり方自体はまったく変わらない。
  • これは既存モデルをファインチューニングして、自分が意図した特徴を認識できるようにし、ブラウザでローカル実行できるほど軽量にするものに近いように見える。
• これに似たセルフホスト可能なオープンソースの代替はあるだろうか?
  • これはセルフホスト可能だ。
    学習データをどのサーバーにも送らず、ブラウザ上でローカル実行される。
    Google Drive に保存することを選ばない限りそうであり、Google にモデルをホストさせる場合は Google が重みのコピーを受け取るが、それでも学習データを見ることはない。
    または tensorflow.js で自分でホストすることもできる。
    学習データと重みを含めてすべて zip ファイルとしてダウンロードでき、その場合 Google は何も見ることができない。
    ソースが必要ならここにある -> https://github.com/googlecreativelab/teachablemachine-commun...