Anthropic Economic Index: Claude 3.7 Sonnetの影響
(anthropic.com)- Anthropicが、Claude 3.7 Sonnetのリリース後におけるAIの経済的影響に関する2本目の研究レポートを発表
- このレポートは、新しく最も強力なモデルであるClaude 3.7 Sonnetのリリース後のClaude.ai利用データを分析
- データセットは自由にダウンロードできるよう公開されている
主な発見
- Claude 3.7 Sonnetのリリース後、コーディング、教育、科学、医療アプリケーションでの利用比率が増加
- Claude 3.7 Sonnetの新しい「拡張思考（extended thinking）」モードは、主に技術的な作業に使われている
- コンピューターサイエンス研究者、ソフトウェア開発者、マルチメディアアニメーター、ビデオゲームデザイナーに関連する作業で主に活用
- 職務および職業レベルでの支援／自動化分析データを公開
- コピーライターおよび編集者に関連する作業は、最も高い水準の作業反復（人間とモデルが共同で執筆）を示した
- 翻訳者および通訳者に関連する作業は、最も高い水準の指示的行動（モデルが最小限の人間参加で作業を完了）を示した
- Claude.aiでの利用に関するボトムアップ分類体系を初公開
- 630の細分化カテゴリーを含む新しいデータセットを提供
- この分類は、既存のトップダウン型アプローチでは見落とされうるユースケースの把握に役立つと期待される
Claude 3.7 Sonnetリリース後の変化
- リリース後11日間にわたり、匿名化されたClaude.aiの無料版およびProの会話100万件を分析
- コーディング、教育、科学分野での利用比率がわずかに増加
- コーディング利用の増加は、Claude 3.7 Sonnetのコーディングベンチマークスコア向上によるものとみられる
- 他カテゴリーの増加は、経済全体にわたるAIの浸透、そのドメインに対するコーディングの新たな適用、あるいはモデル能力の予想外の向上を反映している可能性がある
拡張思考モード（extended thinking）の利用パターン
- 拡張思考モードは、主に技術的および創造的な問題解決の場面で使われている
- コンピューターおよび情報研究科学者関連の作業が約10%で最も多い
- ソフトウェア開発者（約8%）、マルチメディアアーティスト（約7%）、ビデオゲームデザイナー（約6%）関連の作業でも高い利用率を示した
- この新しいモデル機能の追加研究のため、各作業に関連する思考モード比率を対応付けたデータセットを公開
支援 vs 自動化の比率変化
- 支援利用と自動化利用のバランスは、新しいデータでも基本的に変わらず、支援が57%を占めた
- 自動化および支援のタイプには一部変化が観察された
- ユーザーがさまざまな主題について情報や説明を求める学習型インタラクションが、約23%から約28%へ増加
- 社会サービス関連の作業では、支援利用率が75%近くに達した
- 生産職またはコンピューター・数学系職種に関連する作業では、支援／自動化比率が50対50%に近かった
- 自動化が支配的な職業カテゴリーはなかった
ボトムアップ分類体系
- Claude.ai利用に関するボトムアップ型データセットを公開
- Clioを用いて生成され、同じ匿名化会話データセットを使用
- 630の細分化クラスターで構成され、関連説明、普及指標、自動化／支援分析を含む
- 階層構造は3段階で構成
- 特に興味深いクラスターの例:
- 水資源管理システムおよびインフラプロジェクト支援
- 対話型可視化機能を備えた物理ベースシミュレーションの生成
- フォント選定、実装、トラブルシューティング支援
- 求職支援資料の作成および改善支援
- バッテリー技術および充電システムに関するガイダンス提供
結論と今後の計画
- モデルが進化するにつれて、経済的影響の測定も進化する必要がある
- Claude 3.7 Sonnetのリリース後データでは、コーディング、教育、科学的ユースケースが比較的小幅に増加し、支援／自動化のバランスには変化がなかった
- 拡張思考モードは、技術ドメインおよび技術的作業で最も高い頻度で利用された
- 作業および職業全体にわたる自動化／支援パターンの傾向を確認
- 今後数か月にわたりこれらの指標を継続して追跡し、能力向上とモデルの経済全体への適用拡大に伴って新たな指標を開発する予定
1件のコメント
Anthropic Economic Index（経済指数）