高熟練作業に対する Gen AI の影響：ソフトウェア開発者との実験

 (papers.ssrn.com)
1 ポイント 投稿者 GN⁺ 2024-09-08 | 1件のコメント | WhatsAppで共有

要約

  • 研究概要
    • この研究は、Microsoft、Accenture、そして匿名の Fortune 100 電子機器メーカーで実施された 3 つのランダム化比較実験を通じて、生成 AI がソフトウェア開発者の生産性に与える影響を評価したもの。
    • 実験は各社の日常業務の一環として行われ、無作為に選ばれた開発者に GitHub Copilot という AI ベースのコーディング支援ツールが提供された。
    • 合計 4,867 人のソフトウェア開発者を対象としたこの研究では、AI ツールを使用する開発者の完了タスク数が 26.08% 増加したことが確認された（標準誤差: 10.3%）。
    • 特に、経験の浅い開発者ほど導入率と生産性向上が大きかった。

GN⁺の要約

  • この研究は、生成 AI がソフトウェア開発者の生産性を大きく向上させうることを示している。
  • 特に経験の浅い開発者に有用であり、AI ツールが学習曲線を緩和するのに役立つ可能性を示唆している。
  • GitHub Copilot のような AI ツールは、ソフトウェア開発の効率を高めるうえで重要な役割を果たしうる。
  • 類似機能を持つ他のプロジェクトとしては、TabNine や Kite などがある。

関連記事

1件のコメント

 
GN⁺ 2024-09-08
Hacker Newsの意見

  • 経験豊富なエンジニアの意見

    • Copilotは経験豊富なエンジニアにとってはむしろ邪魔になる
    • コーディング前の段階ではAIは非常に有用
    • 経験豊富な開発者がAIをうまく活用すれば、より大きな利益を得られる

  • IT人材の質の低下に対する懸念

    • 企業は人員削減のために、より多くの役割を一人に担わせている
    • DevOpsやDevSecOpsの導入に伴って人員削減が行われた
    • 新しい開発者にとって、複雑な環境で多くの役割を学ぶのは難しい
    • ChatGPTを使うのは当然の帰結である

  • 経験の浅い開発者のAI利用による技術的負債

    • 経験の浅い開発者がAIを使った結果として生じた技術的負債を、経験豊富な開発者が解消しなければならない
    • 技術にそれほど大きな関心のない開発者ほどAIに強い関心を示す

  • 研究結果の要約不足

    • 研究結果の要約があまりにも簡略すぎる
    • 企業や開発者のキャリアによって結果は大きく異なる
    • Microsoftでは統計的に有意な結果は出ていない

  • LLMが開発者の成長に与える影響

    • LLMは開発者の成長を妨げる可能性がある
    • ジュニア開発者がLLMを使うと学習過程が置き換えられてしまう
    • 実質的なスキルはプロンプトを調整することになってしまう

  • 経験豊富な開発者とジュニア開発者の生産性の差

    • 経験豊富な開発者はCopilotを使っても生産性の向上は大きくない
    • ジュニア開発者の生産性向上が、経験豊富な開発者の生産性低下につながる可能性がある

  • 新しい技術を学ぶ際のAIの助け

    • 新しい技術を学ぶ際にはAIがより大きな助けとなる

  • Copilotのアップデート

    • CopilotはGPT-3.5ベースで動作する
    • GPT-4に更新されたCopilot Chatは2023年11月30日に公開された

  • PR数の増加の意味

    • PR数が増えること自体が重要なのではない
    • AIがQAを通過する項目数を増やすのか、バグを減らすのかといった点が重要である
    • 単にPR数を数えるだけでは有用ではない

  • 企業でのAI利用の結果

    • 企業でAIを使用した結果、非効率な開発者たちが解雇された