6 ポイント 投稿者 GN⁺ 2025-04-17 | 1件のコメント | WhatsAppで共有
  • AIの社会的影響力は今が最も明確であり、その波及力はまさに歴史的
  • Stanford HAIは、AIが21世紀最高の変革技術になると見ている
  • しかし、AI発展の恩恵がすべての人に均等に行き渡るためには、方向性を持った開発が必要だと強調している
  • AI Indexは、AIの技術的進歩、経済的影響、社会的影響を客観的に分析し、政策立案者と企業リーダーに重要な洞察を提供する

1. 高難度ベンチマークにおけるAI性能は継続的に向上

  • 2023年、研究者たちは最新AIシステムの限界を試すために新たなベンチマークを導入:
    • MMMU, GPQA, SWE-bench
  • わずか1年で性能が大幅に向上:
    • MMMU: +18.8%p
    • GPQA: +48.9%p
    • SWE-bench: +67.3%p
  • ベンチマーク以外でも、AIは高品質な動画生成技術で目立った進展を示している
  • 一部の環境では、言語モデルベースのエージェントが限られた時間内で人間を上回るプログラミング成果を出すこともある

2. AIは日常生活へ急速に拡大中

  • 医療から交通まで、AIは研究室を超えて日常生活に本格的に統合されつつある
  • 2023年、米FDAはAIベースの医療機器223件を承認(2015年はわずか6件)
  • 自動運転車はもはや実験ではなく商用化段階に突入
    • Waymo: 毎週15万件以上の自動運転移動サービスを提供
    • Baidu: Apollo Goロボタクシーを通じて中国の複数都市で商用サービスを運営

3. 企業はAI導入に全面的な投資と活用を進めている

  • 2024年、米国の民間AI投資額は1,091億ドルで世界最高水準
    • 中国(93億ドル)の約12倍英国(45億ドル)の約24倍
  • 特に生成AI分野だけで339億ドルが投資された → 2023年比18.7%増
  • AIを利用する企業の比率も急増:
    • 2023年55% → 2024年には78%がAIを導入したと回答
  • 研究結果によれば、AIは全般的に生産性向上とともに
    • 職務間の熟練度格差の解消にも前向きに寄与

4. 米国は依然として主要AIモデル生産の主導国だが、中国が急速に性能格差を縮めている

  • 2024年時点で、米国は40件の主要AIモデルを発表し、**中国(15件)、欧州(3件)**を大きく上回った
  • 数では米国が先行するが、中国モデルとの品質格差は急速に縮小
    • 代表的ベンチマーク(MMLU, HumanEval)では2023年の2桁差 → 2024年にはほぼ同等水準へ変化
  • 中国は依然としてAI論文数および特許数で世界1位
  • AIモデル開発はますます中東、ラテンアメリカ、東南アジアなどへ多様化している

5. 責任あるAI(RAI)エコシステムは進化中だが不均衡

  • AI関連の事故や問題は急増しているが、大規模産業モデルの開発者は依然としてRAI標準評価の導入がまれ
  • 新たな安全性評価ベンチマークが登場:
    • HELM Safety, AIR-Bench, FACTS正確性と安全性の評価に有望なツール
  • 企業はRAIリスク認識は高いものの、実質的な措置は不十分
  • 一方で、政府はAIガバナンスへの対応速度を加速
    • OECD、EU、UN、アフリカ連合などで透明性と信頼性を重視する政策フレームワークを発表

6. グローバルなAIへの楽観論は上昇傾向だが、地域差は大きい

  • AIが有益だと見る割合:
    • 中国(83%)インドネシア(80%)、**タイ(77%)**などでは肯定評価が多数
    • カナダ(40%)米国(39%)、**オランダ(36%)**などは低い数値を記録
  • ただし楽観論は増加傾向:
    • 2022年比で楽観的認識が上昇: ドイツ(+10%)、フランス(+10%)、カナダ(+8%)、英国(+8%)、米国(+4%)

7. AIはより効率的で低コストかつアクセスしやすい方向へ進化中

  • 小型モデルの性能向上に支えられ、GPT-3.5水準モデルの推論コストは2022年11月 → 2024年10月の間に280分の1に低下
  • ハードウェア面では:
    • 年間コスト30%減少
    • エネルギー効率40%向上
  • オープンウェイトモデルも急速に性能向上中
    • 一部ベンチマークでクローズドモデルとの差を8% → 1.7%に縮小
  • こうした要素すべてが高度なAI技術への参入障壁を急速に引き下げている

8. 各国政府はAI規制と投資に本格的に乗り出している

  • 2024年、米連邦機関はAI関連規制を59件発表
    • 2023年より2倍以上増加し、関連機関数も2倍に拡大
  • 75か国でAI関連の立法言及が21.3%増加
    • 2016年比で9倍増加
  • 主な政府投資事例:
    • カナダ: $24億中国: $475億の半導体ファンド
    • フランス: €1,090億インド: $12.5億
    • サウジアラビア: Project Transcendenceで$1,000億を投資

9. AIおよびコンピューターサイエンス教育は拡大中だが、アクセシビリティと準備不足の問題が存在

  • 世界の国々の3分の2がK–12コンピューターサイエンス教育を実施または計画中
    • 2019年より2倍増加
    • アフリカとラテンアメリカで最も速い進展
  • 米国内のコンピューター関連学士号取得者数は10年間で22%増加
  • しかし**基礎インフラ不足(電力など)**により、アフリカの一部地域では依然としてアクセスが難しい
  • 米国のK–12コンピューターサイエンス教師の81%はAIが必須の教育要素だと考えているが、
    • 実際にAIを教える準備ができていると答えたのは半数未満

10. 産業界がAI開発を主導しているが、競争は激化している

  • 2024年、主要AIモデルの約90%が産業界で開発された(2023年は60%)
  • 一方で、最も多く引用されるAI研究は依然として学界から生まれている
  • モデル規模は拡大を継続:
    • 学習計算量は5か月ごとに2倍
    • データセットは8か月ごとに2倍
    • 電力使用量は毎年2倍増加
  • しかし性能格差は縮小傾向:
    • 上位1位と10位モデルのスコア差: 11.9% → 5.4%
    • 1位と2位モデルの差: わずか0.7%
  • これは競争が激しく複雑性が増したAI開発環境を意味する

11. AIは科学分野で最高権威から認められている

  • AIは最近、ノーベル賞受賞研究の中核技術として認定された
    • ディープラーニング技術(物理学部門)、**タンパク質構造予測の応用(化学部門)**でそれぞれ受賞
  • また、強化学習分野における画期的な功績によりチューリング賞も授与された
  • これはAIの科学的影響力が主要な学問分野で正式に認められ始めたことを示唆する

12. 複雑な推論は依然としてAIの大きな課題

  • AIは国際数学オリンピック級の問題解決では優れた成果を示している
  • しかしPlanBenchのような複雑な推論ベンチマークでは依然として苦戦している
  • 明確な正答が存在するにもかかわらず、一貫して論理問題を解けない場合が多い
  • このため、正確性が重要な高リスク分野ではAIの実効性に限界がある

1件のコメント

 
GN⁺ 2025-04-17
Hacker Newsのコメント
  • このレポートのデータは Google Drive の CSV ファイルとして提供されており、それを SQLite データベースに変換して Datasette Lite で探索できるようにしていた
    • 最も興味深いテーブルは、さまざまなモデルにおけるバイアスの例を示している
  • 11番目の項目(AlphaFold3 vs Vina, Gnina など)に対する反論を Substack に投稿した
    • Gnina は Vina の結果をニューラルネットワークで再評価したものなので、同じ懸念が当てはまる
    • AI については楽観的だが、今回の比較は誤っていた
    • 新しい薬剤候補に一般化できる手法が必要だが、反復的なデータセットで評価されていた
  • AI が人間より優れているというレポートをよく目にするが、日常的な問題解決では助けを得られなかった
    • Claude に数百行のコードと問題箇所を渡したが、問題を解決できなかった
    • LLM には特定の出力に固執する傾向がある
    • Google 検索と似ていて、具体的な検索を試しても同じ結果を返す
  • 環境への影響に関する章がないのは驚きだった
    • ヨーロッパ、特にフランスでは、AI 利用を批判する主要な論点になっている
    • 芸術の盗用、雇用破壊、偽情報の生成の容易さ、低所得国の AI トレーナーの労働条件などが含まれる
    • 個人的に AI に反対しているわけではなく、フィードでよく目にする論点を挙げただけだ
  • 各章は個別の PDF として提供され、レポート全体は 456 ページある
  • 「AI の難しいベンチマークでの性能は引き続き改善している」
    • ますます多くの AI モデルが、こうした権威あるベンチマークに合わせて調整されているように感じる
  • なぜウェブサイトが画像を新しいタブで開きにくくしているのか、という疑問がある
    • URL をコピーするとノイズ画像に接続されるが、AWS S3 から元画像をダウンロードできる
    • 非技術系の利用者を怖がらせるためなのかと疑問に思う
  • Stanford の過去の AI レポートは重厚で批判的でもあった
    • 現在のレポートは、いくつもの小さなプレスリリースを一つに束ねたように見える
    • AI は大学から企業へ、研究論文からプレスリリースへと移っていった
    • OpenAI の GPT 関連プレスリリースは、有用な情報なしに統計だけを並べていた
  • 生活水準は向上すると確信している
    • 同じ時間でより効果的に作業できるため、生産性が上がり、コストは安くなるだろう
    • 株式市場でこの効果がどう現れるかは確信が持てない
  • 米国が依然として最高の AI モデルを生み出しているが、中国が性能差を縮めている
    • 研究者の大半は国家ではなく、賢い人たちとすごいものを作ることに集中している
    • 世界で唯一の製造大国との戦争は望まない
    • 中国との AI 競争において、米国が R&D に本気で取り組むのなら良いが、それは望んでいない