ChatGPT-4がビジネスコンサルタントの成果を大幅に向上

• Harvard Digital Data Design InstituteとBCGの現場実験は、758人のコンサルタントを対象に、AIが知識労働者の生産性と品質をどれだけ変えるかを評価した
• 課題は、コンサルタントの実務に近い創造性、分析的思考、文章作成、説得力を含み、単純なベンチマークよりも業務への適用性を見る設計だった
• ChatGPT-4は、AIが適合する課題で作業速度を25%以上、人間評価の成果を40%以上、作業完了率を12%以上引き上げた
• すべての業務が同じ効果を得られるわけではなく、強い領域と弱い領域が分かれるギザギザした技術的フロンティアが中核的な制約として明らかになった
• 実務での活用は、仕事を分担するCentaursと、ワークフローにAIを溶け込ませるCyborgsに分かれ、課題ごとに人間とAIの組み合わせを見極める必要がある

---

BCGコンサルタント対象の現場実験

• Harvard Digital Data Design InstituteのKarim Lakhaniらは、Boston Consulting Group(BCG)とともに、AIが知識労働者の生産性と品質に与える影響を評価した
• 実験対象は758人のコンサルタントで、BCGの個人貢献者人員の7%に相当した
• 課題はコンサルタントの日常業務の範囲を反映していた

  • 創造性

  • 分析的思考

  • 文章作成能力

    • 説得力

成果向上と限界

• AIがうまく機能する課題領域では、ChatGPT-4が成果を大きく高めた
  • 作業速度は25%以上増加した
  • 人間評価基準での成果は40%以上増加した
  • 作業完了率は12%以上増加した
• 一方で、AIの性能はすべての課題で一様ではない
  • ある作業では優れた結果を出すが、別の作業では不十分である
  • こうした差異はjagged technological frontierとして整理されている

知識労働で現れた2つの利用パターン

• AI利用者は大きく2つのパターンに分かれる
  • Centaurs: 人間とAIの間で作業を分担し委任する
  • Cyborgs: 自身のワークフローにAIを統合する
• AIを使うか使わないかという二分法よりも、各業務フローで人間とAIの組み合わせがどのような価値を生むかを評価することが重要である

[GN⁺]

Hacker News の意見

• これらの課題は GPT にぴったりの仕事に見える。創造性、分析的思考、文章作成、説得力といった領域で、靴のアイデアを10個出す、市場をセグメント化する、プレスリリースを書く、社員向けの鼓舞するメモを書く、といったものだ
  1つ目の課題に対する GPT の回答: https://chat.openai.com/share/db7556f7-6036-4b3d-a61a-9cd253...
  自信満々の GPT の幻覚は、典型的な経営コンサル資料とほとんど見分けがつかない

  • 「アイデアはいまいちだ、スプレッドシートがある、マーケティング文言には誰も関心がない、経営幹部っぽい戯言に誰も感化されない」という類の作業なら、そもそも価値が低いので LLM への入力としてはほぼ完璧だ
  • 成果物だけ見ればその通りだが、知識労働者の価値は主に入力の質から生まれる
    顧客が求めているのは「アイデア10個」ではなく、「事業と市場への理解に基づく価値あるアイデア10個」だ。経営コンサルタントがこの質問に「ボートシューズ」のような答えを返したら、顧客を長く維持することはできない
    同じように、ソフトウェアエンジニアリングでも「コードを10行書いて」と言えば、ChatGPT が毎日量産しているコードと区別できないと言える
  • 「犬の散歩をする人向け、排泄袋ディスペンサー内蔵」は嫌うべきなのか好きになるべきなのか分からないし、「視覚障害者向け、ハプティックフィードバック」はハプティックシューズとは実に革新的だ
  • 自信満々の GPT の幻覚が経営コンサル資料に似ているなら、Harvard とその周辺機関にもよく合っていそうだ
    私の雇用主は HYP 出身者を採ることで知られる McKinsey を何度か雇ったが、成果物は控えめに言っても不十分だった。こうした機関に対する私の経験はおおむね同じだった
    逸話にすぎないことは分かっているが、こういう研究には確証バイアスがかなり入り込んでいる気がする
  • GPT の回答は MAD magazine から持ってきたように読める

• この研究は肝心な点を埋もれさせている。LLM はある種の作業ではより良かったが、別の作業では実際には結果を悪くしていた
  1つ目の作業は研究で「境界の内側」と呼ぶゼネラリスト作業なので、性能が上がったのは驚きではない。強いドメイン知識がなくても、よく定義された領域を調査する仕事で、LLM の強みに合っている。新人コンサルタントがビジネスアナリストのような役割としてキャリア初期に行う仕事も、だいたいこうしたゼネラリスト業務だ
  LLM は多くの情報を一般化しているため、こうした一般的な調査には強いが、まさにその一般化が弱点でもある。研究分野の記者のようなものだと考えればいい。新聞を読んでいると洞察を得たように感じるが、自分がよく知る分野の記事を読んだ瞬間、分析には欠陥が多く、そのテーマを自分の水準では理解していないことに気づく
  2つ目の「境界の外側」の作業は、スプレッドシート分析、インタビュー、根拠に裏付けられたより深い分析を求めるものだったが、これらは現在の LLM が苦手とする作業だ。そのため非 LLM グループは 84.5% を得た一方、LLM 利用者は 60〜70.6% にとどまった
  結論として、LLM は一般化された調査には優れているが、専門的な分析作業にはあまり向いていないということだ

  • これは Gell-Mann amnesia の新しいバージョンのようだ。LLM-man amnesia と呼びたい
    プログラミングの質問をすると、ChatGPT は約20%ほど幻覚を出し、私は十分に熟練しているのでそれに気づける。他分野について尋ねるときも、少なくとも同程度の幻覚や誤情報があると想定すべきだろう
  • LLM は、平均的な知識労働者が得意なこと、または比較的短期間の訓練で得意になれることには概して強い
  • LLM を記者に例えたのは良い洞察だ

• これは笑える。GPT-3/4 の文章力も印象的だが、さらに衝撃的なのは人間の文章がどれほどハッタリまみれかという点だ
  「ビジネスコンサルタント」は、そうしたハッタリ文書が必要とされる役割の頂点であり、ChatGPT は最高のビジネスコンサルタント以上にビジネスコンサルタントらしく振る舞える
  職場で真剣に受け止められるには、簡潔なアイデアやデータを何ページもの文書やスライドデッキに膨らませなければならないことがある。そうすれば他の人が「手間をかけた」とすぐ分かるからだ
  今の ChatGPT に最も向いている役割は、簡潔な文章を受け取って、はるかに長く無駄に膨らんだ文書へ拡張することかもしれない。受け取る側は冗長な文書やスライドに耐えながら「仕事をした」と認め、その後ふたたび ChatGPT に入れて、元の要点だけに要約させることになるだろう

  • 多くの人は LLM に何ができるかに注目していたが、同じくらい、あるいはそれ以上に興味深いのは、何ができないかとその理由だ
    「LLM はテキストを生成できる」と言うとき、私たちは10車線の高速道路ほど幅広い筆致で語っている。文章を書くことが実際には何であり、どんなカテゴリーや水準があるのかについての語彙が、かなり限られているようだ
    たとえば丁寧なメール、LinkedIn 風の感動スパム、企業的な言い回しでは、GPT が初回から人間を圧倒するのは面白いし、私の基準では完全に予想通りだ。一方で Game of Thrones の次巻や、よく書けた文学を求めると、退屈で、ありきたりで、決まり文句と空っぽの筋書き・人物でいっぱいになって崩壊する
    これからは、文章を書くという地形を、より良い概念空間へとマッピングしなければならない。今は算術と抽象代数に相当する違いすら区別できていないように見える

• LLMは言語タスクでは驚くほど優秀。かつて人々が自然言語処理と呼んでいたものの大半は、今やほとんど圧倒されている。要約、質疑応答、感情分析など、本当に驚くべき水準だ。
  「事実」の境界がはっきりしておらず、Pynchonの小説のように密に噛み合っている必要のない生成タスクにも非常に強い。短編小説、意見記事、商品コピーでは、1分で20個のアイデアをプロトタイプのように出せる生産性増幅器だ。
  ただし、現在地はおおよそここまで。自然言語を潜在空間に持ち上げ、ある程度分離可能な概念を作り、アフィン変換のようなことをしたうえで、また下ろしている。
  コンピュータとしては途方もなく印象的だが、高給のPenn卒業生の役割を本当に代替できるのかと言われると、支払われている対価は、まばゆい製品戦略の洞察ではない別の何かである可能性が高い。

  • AIが法律に熟達するまでどれくらいかかるのか気になる。今得意な言語タスクは芸術的なタスクに似ている。解空間が非常に大きく、小さな変化に強い問題を解いているのだ。
    怒った木の人間の絵を少し変えても、なお良い怒った木の人間の絵である可能性が高い、というようなものだ。
  • 同意しがたい。LLMは、領域がどれほど限定されていても、どんな仕事も信頼性高くこなせない。
    出力が受け入れられそうに見えるのは、人間が人間の脳で亀裂を埋めているからだ。人はゴミのような出力を見分け、小さな曖昧さを解消し、些細な事実・論理の誤りを無意識に直している。
    しかしLLMの結果を他のコンピュータプログラムに直接入れることはないだろう。そうなると、従来の自然言語処理タスクの大半は除外される。
  • 「かつて人々が自然言語処理と呼んでいたものの大半が、今や圧倒された」が大半の本番サービス用途で事実になるには、LLMは少なくとも10倍高速である必要がある。
    こうした作業をかなりうまくできることにはおおむね同意するが、大規模データセットで回すには性能がまだ足りない。
  • 特定の自然言語処理っぽいテキストを頼むと、とてもうまくやってくれる。
    ところが直後に、それをそのまま使うなと「非倫理的」だと言ってくる。

• これはBCGコンサルタントがどれほど役に立たないかを物語っている。

  • LLMにも「マスコミは、自分が専門家である分野を除けばすべて正確だ」という古い言い回しに相当する現象があるようだ。LLMの出力も、自分が専門家である分野を除けばどれも良く見える。
    ライティングや編集の背景がない人は、LLMがその分野を革命的に変えると思っている。実際の作家や編集者は、LLMの出力を一度見れば、直す時間が最初から書く時間と同じくらいかかり、実質的に価値がないことを理解する。
    同じように、プログラミングができない人や主題への理解が浅い人、特に技術的に見られたがる管理職は、LLMの出力を見てすぐデプロイ可能だと思うが、優れたプログラマーは、大きな問題も小さな問題も多すぎて、最初から書くより直す価値がないことを見抜く。
  • 経営コンサルタントの大半は役に立たないが、受け入れるべき現実もある。
    20〜30人のエンジニアチームには、技術も優秀で人付き合いもうまい「なぜうちにいるんだ？」と思うようなエンジニアが、たいてい1人だけいる。しかしどれほど性格が良くても仕事は仕事で、彼は経営がどうあるべきかのヒントをくれるだけだ。ビデオゲームもするし家族もいるし生活もあるので、会社がどこへ向かうのか、経営や不要な責任には関心がない。さらに上の人たちは彼を「エンジニア」としてしか見ず、「管理者」としては見ない。
    残りのエンジニアや管理者も「自分の問題ではない」という態度でいると、奇妙なコミュニケーションの空白が生まれる。製品に近いところで働くエンジニアは「そんなに詳しいならお前がやれよ」と言われるのを恐れて管理者と話したがらず、管理者は「そんなに関心があるならお前がやれよ」と言われるのを恐れてエンジニアと話したがらない。
    この管理者とエンジニアの間で広がり続ける距離に、経営コンサルタントが入り込む。経営コンサルタントは上級経営陣から与えられた柔軟性のおかげで、エンジニアと管理者の間を行き来し、誰とでも話せるし、「じゃあお前がやれよ」に縛られない。報告書を出して、1か月で管理者・エンジニアの1年分の給料を持っていく。
    真面目に振り返ると、会社がやるべきだと分かっていながら言わないことは多い。言えば仕事が増え、リスクも増えるからだ。「良い」経営コンサルタントは、そうした「やりたくないが、やるべき」仕事を見つけて上級経営陣に報告し、経営陣はその仕事をやらせるシステムを作る。誰か経営コンサルタントが必要なら、私を雇ってもいい。会社がなぜいまいちなのかを20通りで言ってあげるが、そのうち18個はChatGPTが生成するだろう。
  • ある程度同意する。LLMは私のプログラミング成果物を、主にJSDocとPR説明の作成で増やしてくれた。私があまりやりたくない作業だ。
  • この研究は、BCGコンサルタントの作業の40%が実際には付加価値のないノイズだということを示しているだけだ。顧客は今後、40%の値引きを求めるべきだろう。
  • GPTが何かをするたびに「それは［対象］についてより多くを物語っている」という文句が繰り返されることのほうが、より多くを物語っている。
    どんなスレッドでもこういうコメントを予測できるのが笑える。「それは［挿入］についてより多くを物語っている」を使い続けると、表現そのものが意味を失う。もっと意味のあることを言えないものか。

• 驚きではない。GPTは恐ろしいほど優秀で、プログラミングとも非常に相性がいい
  GPT-4にコードを書いてもらい、動くか試してみるが、そのコードをそのままコピー＆ペーストすることはまれ。コードベースの文脈に合わせて自分で書き直す。それでも、どうすればいいか確信が持てないときには大いに時間を節約してくれる
  提案が気に入らないこともあるが、それも役に立つ。問題空間が頭の中でより明確になることが多い

  • 昨日初めてChatGPTをコードに使ってみた
    Googleで答えが見つからず、可能かどうかも確信がなかったかなり厄介な作業を与えた。「Pythonオブジェクトが与えられたとき、このオブジェクトを引数として受け取った関数の一覧を返してほしい。既存コードは修正できず、オブジェクト構造だけを変えられる」という要件だった
    最初は関数を修正する、デコレータで包む、現在のスタックトレースを見る、といったあまり合わないアイデアを出してきたが、何度かやり取りした後、Pythonのトレーサを横取りする方法で解決しようと言い、実際に動いた
    驚くべき点は、このようなものを訓練データで見たとは思えないのに、断片を組み合わせたことだ。ほとんど人間並みに近かった。尋ねると、デバッガと干渉し得るという制約も簡単に説明した
  • 公開された記事はプログラミング作業ではなく、「戦略コンサルタント」向けのテキスト生成に関するもの
    原文10ページの例はこんな感じだ：取り残された市場やスポーツを狙った新しい靴のアイデアを10個以上提案、ユーザーを基準に靴産業の市場をセグメント化、製品宣伝用のプレスリリース草案作成、競合製品より優れている理由を従業員に説明する鼓舞するメモ作成
    個人的には、実際の価値はほとんどなさそうに見える
  • GPT-4に問題を説明する行為自体が、回答と同じくらい助けになることもある。ほとんど強化版ラバーダック・デバッグのようなもの
  • これは「うまくいくまであれこれ試す」式のプログラミングから一段離れているだけだ
    あなたがそういうプログラマーだという意味ではないが、そういうタイプのプログラマーを確実に可能にしている
  • 本当に話のうまいラバーダックだ：https://en.wikipedia.org/wiki/Rubber_duck_debugging

• コンサルタントだった立場から、次の明白な疑問が浮かぶ。コンサルタントを完全になくして、GPT-4が顧客のために直接働くようにしたらどうなるのか？
  顧客がコンサルタントに仕事を任せるには、要件を説明し、成果物をレビューし、フィードバックを与える必要があり、会議にも何度か参加する
  しかしGPT-4がコンサルタントをはるかに良くするのなら、彼らの仕事も代わりにできそうだ。外部グループと働かないことで生じるコミュニケーションコストの低下まで合わせれば、顧客が外部コンサルタントの費用と管理負担をなくして、利益を直接得ない理由は何だろうか？
  特に、顧客がすでにドメイン専門家で、追加の人手だけが必要な場合はなおさらだ。たとえばマーケティングのブランドマネージャーは自社製品とマーケティングをよく理解しているが、社内の人員制限などの理由でより多くのリソースが必要になり、マーケティングコンサルタントと仕事をすることがある
  BCGがこの研究に参加した意味を最後まで考えたのか気になる。「コンサルタントが顧客をよりよく支援する」から「顧客を直接支援し、コンサルタントはあまり必要ないことを示す」までは非常に短く見える
  顧客がインターンを1人採用してGPT-4を持たせれば、特にそうだ

  • BCGやMcKinseyのような会社は、たいてい責任回避のために存在している
    CEOの立場では、彼らを呼んで大金を払い、計画と戦略を作らせたうえで、うまくいけば手柄を取り、うまくいかなければ「McKinseyの専門家たちと緊密に仕事をした。だから私の責任ではない」と言える

• HNは本当に予測が下手だ。ほんの数カ月前まで、LLMは確率的オウムにすぎず、何も成し遂げられないと自信満々に語るコメントであふれていた
  「次のAIの冬は目前だという考えを拭えない」だって、ああ、もちろん
  [0] https://news.ycombinator.com/item?id=23886325

  • 経営コンサルタントが確率的オウムではないと誰が主張した？
  • そのコメントは「コンテンツマーケティングのスパムを費用対効果よく置き換える方法を探しているなら、いいだろう。成功だ」とも言っていた
    そして記事を読んでみると、ここで話している成果物の水準はほぼ正確にその程度だ。取り残された市場やスポーツを狙った新しい靴のアイデア10個以上、靴産業の市場セグメンテーション、製品宣伝用プレスリリース、競合製品より優れている理由を盛り込んだ従業員向けの鼓舞するメモ、といったものだ
    しかも2つ目のタスクでは、非LLMグループのほうがはるかにうまくやった
  • この論文が多くを証明しているのかはよく分からない。プレスリリースを吐き戻すのは、確率的オウム的な作業に近い
  • 予測を外すのは構わない。耐えがたいのは再調整が完全に欠如していることだ
    とんでもなく悪い予測をしたなら、その対象に対する自分のモデルがずれており、修正が必要だという意味だ
    なのにモデルをまったく直さず予測し続けるなら、大きな問題だ
  • そのコメントは、Dropboxはrsyncのようなもので簡単に置き換えられると言っていた人と同じく、HNの殿堂入りしそうだ

• 時間が経てば、多くのオフィス業務はGPTのようなサービスで最適化されるだろう
  自分のオフィス業務の中に、反復可能でスクリプトで処理できる仕事が多いことは分かる程度の技術感覚はあったが、自分でスクリプトを書けるほどではなかった。ChatGPTのおかげでそれらのスクリプトを作ることができ、完全に動くようにするのに15〜20時間ほどかかった
  Pythonスクリプティングをほんの少し知っていただけで、pandasやxlswriterのようなものはまったく知らなかったが、週に20〜25時間を節約してくれるものを作れた
  HNにはプログラミングが得意な人が多いので、ChatGPTのようなサービスが非プログラマーに開く世界を過小評価しているように思う。逆に、好奇心のない人には学びを減らしてしまうかもしれない。以前ならsnapdサービスを複数スクリプトで停止する方法を学ぼうとGoogle検索して組み合わせていただろうが、今ではChatGPTに聞けば1分もかからず動くスクリプトを受け取れる

  • 完全に同意する。「Xは可能か、どうやるのか」から始めて、検索語すら分からなかった問題に対する粗い概念実証を何度も作り出した

• 要約で指摘すべき点が2つあります
  「AI能力の境界内にある現実的なコンサルティング業務18件」とされています。つまり、GPT-4ができる作業を意図的に選んだということです。GPT-4ができない作業は多いので、性能が大きく向上したと言う場合でも、GPT-4に適した作業に限定されるという文脈を置く必要があります
  また、「平均未満の実行者は自分のスコア比で43%、平均以上の実行者は17%増加した」とされています。GPT-4に特に適した作業だけを選んだにもかかわらず、平均以上の実行者の改善は17%でした。全体としてこのような増加が見られるなら依然として印象的ですが、一部の人が売り込もうとしているものよりは、17%はずっと小さいと見ています

  • 平均未満の実行者は、GPTの出力をそのまま受け入れやすいのかもしれません。検討して編集する能力が低いからです
    平均以上の実行者は自分の能力に自信があるため、GPTの出力をより大幅に手直しする可能性が高いでしょう。そのため平均未満のグループのほうが完成物をより早く作れ、この試験には時間制限があったので速度が重要だったはずです
    ChatGPTは冗長に書き連ねることに非常に強く、マーケティング文句やインスピレーション系のメッセージは本質的に冗長です。つまり課題が、支援なしのChatGPT向けに作り込まれていたようなものなので、高成績者のほうがむしろ不利でした
  • 過小評価しています。利益は複利で積み上がるものです
    効率の小さな向上は、長期的な成長において大きな優位になります。17%でも途方もない改善です