売るときはAI、作るときは機械学習と呼ばれる技術
(theaiunderwriter.substack.com)- ChatGPTが2か月で1億ユーザーを集めたことで、「AI for X」という売り文句が増える可能性が高まり、実際の技術と誇張が混ざって判断しにくくなっている
- AlphaGoの2016年の勝利と2017年のTransformers論文は重要な進展だが、今日のAIブームがすべての製品の技術的実体を保証するわけではない
- 営業の現場ではアルゴリズム名を誤って使ったり、if-then文をAIとして包装したり、人が処理している作業をNLPのように売った事例もあった
- ベンダーを見るときは、機械学習のカテゴリ、アルゴリズム、予測出力、目的関数、性能指標、モデル変更の周期、人の介入比率を直接確認すべき
- ユーザー向け画面がGPT APIを包んだ薄いラッパーであれば、追加コストだけが生じて利点は少ない可能性があるため、AIという名前より動作方式と検証基準が重要である
「AI for X」という売り文句が増える背景
- 生成AIは質問応答、学習、画像や映像の生成などですでに強力な能力を見せており、急速に改善している
- 2016年のAlphaGoの囲碁勝利は印象的だったが、限定された問題を解く機械知能の適用事例だった
- 2017年にはTransformers paperが登場した
- 2023年、ChatGPTは2か月で1億ユーザーを確保した
- 技術の進展とともに誇大広告も大きくなっており、GPTブームに乗って「AI for X」という販売文句がさらに多く登場する可能性がある
- Uber IPOの前後には「Uber for X」スタートアップのピッチがあふれ、一部は成功したが、それ以上に多くが失敗した
- 暗号資産の低迷後、「crypto expert」が素早く「AI expert」に変わる流れも見られた
- AIという名前だけで技術的実体が保証されるわけではない
- アルゴリズム名を誤記したAI専門性のピッチがあった
- 「AI driven」製品が実際にはif-then文で動作していた事例があった
- 文書や知識をNLPで分解・再構成すると売っていたが、実際の処理は東南アジアのオフィスの人々がキーボードで行っていた事例があった
- 名前を知っていることは知識ではなく、名前を売ることが常に実際の技術を売ることでもない
ベンダーの信頼性を確認する質問
- 製品にどのような広いカテゴリの機械学習が使われているのかを尋ねるべき
- 例: 教師あり学習、教師なし学習、特定のニューラルネットワークアーキテクチャなど
- AIの背後にあるアルゴリズム名を確認すべき
- 例: XGBoost、BERT など
- モデルが何を予測するのかを確認すべき
- 実際の予測出力が1/0、yes/no、数値のどれなのかを尋ねる必要がある
- モデルが最適化している目的関数を確認すべき
- 損失関数またはコスト関数とも呼ばれ、モデルが減らそうとしている誤りが何かを見る質問である
- モデルの有用性をどの指標で測定しているのかを確認すべき
- 未知のデータに対してどれだけ汎化するかを判断する基準とつながっている
- モデルをどれくらいの頻度で変えるのか、そしてその理由を尋ねるべき
- 「AIソリューション」に人がどれだけ介入しているかを確認すべき
- ユーザー向けGUIがGPTのAPIを包んだ薄いラッパーなのかを確認すべき
- この形態は「GPT as a service」である可能性があり、サービスが追加コストだけを生み、追加の利点がないかもしれない
用語に圧倒されない姿勢
- 機械学習は強力だが、優れたAI製品とともに、品質の低い製品や羊の皮をかぶった狼のようなAI製品も出てくる可能性がある
- AI分野の大きな用語も直感的な説明に分解できるため、技術的に聞こえる言葉に怖気づいたり混乱したりする必要はない
- 実際に何かを構築している人たちは通常これをmachine learningと呼んでおり、購入者は名前よりも動作方式と検証基準を尋ねるべきである
1件のコメント
Hacker Newsのコメント
誰の言葉かは分からないけれど、気に入っているかっこいい引用がある: 「動くようになるまではAIと呼ばれる。オートコンプリートを見れば分かる」
会社が「AIをやっている」と言うと、ソフトウェアエンジニアの立場からすると、そのAIでどこへ行きたいのか、どんなサービスを提供したいのかがほとんど分からない、という意味に聞こえる
だからAIプロジェクトに伴いがちな「手段が目的を正当化する」式のアプローチには警戒するようになった。人それぞれだろうけど
自分のコンサル会社は、機械学習フレームワークで解けたり活用できたりするアイデアを、デジタルサービスやソリューションにマッピングする仕事をしている
最終成果物が「AI」と呼ばれることはまれだが、結局のところ今でもAI/機械学習を使っている。今のAI過熱より少し前からやっている分野で、このニッチはかなり面白い
今ならハードコードされたif-elseの塊と呼ぶだろうが、40年前には最先端AIで、20年前には教科書に載せる価値があった
解くべき問題を見つけるために、解法であるAIから出発するのだが、本来は逆であるべきだ
無意味なアプローチを慌てて繰り返し、大金を燃やす可能性がほぼ確実にある。新しい基盤技術が出るたびにこういうことが起きるようで、ドットコムバブルにもこういう会社は多かったのだろうと思う
古典的なジョークにぴったり合う: 「機械学習はたいていPythonで書かれ、AIはPowerPointで書かれる」
「2019年のUber上場直前、ベンチャーキャピタル界隈には『XのためのUber』というスタートアップのピッチがあふれていた。駐車スペースのためのUber、みたいなものだ」
うわ。現フランス大統領は経済を「uberize」しようと有名な提案をしたが、その意味するところは雇用主にとってコストの低い不安定な仕事だった
自分の職場のCレベルたちも、すでに生成AIみたいな話をひっきりなしにしている。近い将来、あらゆるものをAI化するというマーケティングのたわごとをさらに聞かされるのかと思うと気が重い
面白いのは、「AI」と呼ばれていたものが、人間を「知的」と言うときに本当に意味していることから、私たちが決して知能の一部とは見なさない側へと移っていったように見える点だ
Boston Dynamicsのロボットを例にすると、人は猫と椅子を区別したり、転ばずに歩いたり、バックフリップをしたりすることをもって知的だとは見なさない
だが、持っているデータと身体能力を創造的に使って問題を解けるなら知的だと見る
ロボットのようなもので「AI」に感心するとき、私の理解ではそのAIはたいてい知覚（生のセンサーデータからラベル付きの世界モデルへ行くこと）と駆動制御（「1メートル前進」や「バックフリップ」といった指示を実際のアクチュエータ動作の列に変換すること）にある
実際の「知能」、つまり「ピーナッツバターサンドイッチを作って」と言われた作業を完了するために、ドアを開けて別の部屋に行き、ピーナッツバターとパンを持ってくるという判断は、たいてい古典的なif-thenロジックか、人間のオペレーターが提供している
ChatGPTのようなものにも同じパターンを見る。教科書を丸暗記して完璧に繰り返す学生の能力は印象的かもしれないが、そういう学生を「知的」とは呼ばない
知的な学生とは、定理の証明やある用語の正確な定義を忘れていても、新しい問題に直面したとき創造的に正しい解法へ到達できる学生だ。「オウム学生」はたいていここで惨憺たる失敗をする
以前YouTubeで、空港の管制塔向けだったと思われる非常に原始的な自動化システムの古い映像を見たことがある。たぶん70年代ごろで、その人はそれをAIと呼んでいた
ソフトウェアが何をしているかを詳しく説明し、コードまで見せていたが、文字どおりif/else文が山ほどあるレベルだった
ChatGPTのようなものに慣れてしまえば、それもAIとは呼ばれなくなるか、次の対象のために「汎用人工知能」をもっと広い意味で使うようになるだろう
最近までは、汎用人工知能でなければAIと呼ぶべきではないという立場だったが、正直誰が気にするのかとも思う。言葉は考えを伝えるための道具にすぎない
ほとんどの人が、今日私たちが作っているものをAIと呼びたいのならそれでいいし、間違っているわけでもない。知覚があるわけではないが、ある基準では知的だと主張できるし、明らかに人工的だ。お互い通じればそれで十分だ
知能は推論だけではない。部屋を横切って歩き、物をつかむだけでも相当な脳の能力が必要だ
90年代には、当時のかっこいい技術バズワードだった「ファジー論理」入りの掃除機を持っていた
実際に何をしていたのかは誰にも分からない。単にオンとオフの間に中間の強さ設定がある、という意味だったのだろう
少し暑いとものすごく暑いの間には小さな差があるようだが、少し涼しいと少し暑いの間にははっきりしたスイッチがある
ときどき、熱くも冷たくもなく、ただ室温の空気をファンで動かしたいだけなのだ
Appleが一貫して機械学習と呼んでいる点は注目に値すると思う
AIは常に消費者向けの用語だった。たとえばゲームでも、いろいろなものが「AI」と呼ばれてきた
人々は基本的に何でもAIと呼ぶことに満足してきたし[1]、AIが自然言語のような領域で本当にうまくやり始めると、その時点で言葉を作り直して格下げする
私が生きてきた間、AIとは人間らしい意思決定の側面をほんの少しでも模倣するあらゆるソフトウェアを指してきた
しかも要点が何なのかと思う。AIと呼ぶのを拒んでも、その能力は良くも悪くも変わらない
FAIRを除く先端能力研究所が、実際に本物の汎用知能を作ろうとしているという事実も変わらないし、FAIRですら名前がFundamental AI Research labであるのには理由がある
[1] 例: PacmanのGhost AI — Z80で動く数行のコードに要約されるものに対しても、完全に妥当な表現だ。Wikipedia: “Each of the four ghosts has its own unique artificial intelligence (A.I.), or "personality": ...”
開発者は、プレイヤーに公平に見えるようゲームAIをかなり間抜けにしなければならないことが多く、その代わりにボーナスを与えてバランスを取る
たとえばゲームAIは弾薬が無限であることが多いが、その弾はプレイヤーに大きなダメージを与えない
自分のSony TVのどこかにもAIが振りかけられているらしいが、何をしているのかはまったく分からない。実のところ自分に必要なのは大きなバカディスプレイだけだ
両者を折衷して「統計的学習」と呼べないだろうか?
「Pythonで書く人はそれを機械学習と呼び、PowerPointで書く人はAIと呼ぶ」
人はドリルではなく穴にお金を払う