3 ポイント 投稿者 GN⁺ 4 시간 전 | 1件のコメント | WhatsAppで共有
  • AI開発で人間が担っていた実装・実験作業のより大きな比重がAIシステムへ移り、開発速度を高めており、十分なコンピュートと進展が組み合わされれば、後続モデルを自律設計・開発する再帰的自己改善につながる可能性がある
  • モデルが独立して完了できる作業時間地平は約4か月ごとに2倍へ伸びており、Claudeは2024年3月の約4分のソフトウェア作業から、2026年には12時間の作業まで処理範囲を広げている
  • 2026年5月時点でAnthropicのコードベースにマージされるコードの80%超がClaudeの作成コードであり、2026年第2四半期には一般的なエンジニアの1日あたりマージコード量が2024年比で8倍に増加した
  • Claudeは明確に定義された実験実行で急速に強くなっており、2025年5月の約3倍のコード速度改善から、2026年4月には約52倍の改善に達したが、どの問題や結果を重視するかを選ぶ研究判断は依然として人間の比較優位として残っている
  • あり得る未来像は、現在のトレンドの停滞、人間が方向を定める複利的な効率向上、完全な再帰的自己改善に分かれ、安全な減速や一時停止のためには、複数国のフロンティア研究所が参加する検証可能な協調が重要課題となる

AI開発ループの進化

  • 2021〜2023年の初期には、一般的な技術企業と変わらず、人がノートPCでコードと文書を書いていた
  • 2023〜2025年には、初期チャットボットで短いコードスニペットを生成し、出力をテキストエディタにコピーしていた
  • 2025〜2026年には、コーディングエージェントが自らコードを書いて編集し、ときにはファイル全体を処理した
  • 現在は、自律エージェントが直接コードを実行し、数時間分の作業を他のエージェントへ委任している
  • 未来(20XX?)には、エージェントがモデルを自ら作成・学習させるほど進化し、ClaudeがClaude自身を継続的に改善するループが閉じる可能性がある

外部世界の証拠

  • AIモデルが信頼性高く自律完了する作業の長さは約4か月ごとに2倍へ伸びており、以前の7か月周期より速くなっている
    • 2024年3月、Claude Opus 3は約4分のソフトウェア作業を完了
    • 1年後、Claude Sonnet 3.7は約1時間30分の作業を処理
    • さらに1年後、Claude Opus 4.6は12時間の作業を処理
    • トレンドが続けば、今年は熟練者が数日かける作業、2027年には数週間単位の作業も射程に入る可能性がある
  • SWE-bench は、実際のオープンソースコードベースとバグレポートを与え、テストを通過する修正コードを書かせる標準テストであり、モデルのスコアは2年で一桁前半から飽和水準まで上昇した
  • CORE-Bench は、公開された論文のコードとデータを再実行して結果を再現できるかを検証し、2024年の約20%成功から15か月で飽和に達した
  • METRは、Claude Mythos Previewが「少なくとも」16時間の作業が可能であり、新しい課題がなければ測定限界の上限にあることを確認した

Anthropic内部の証拠

  • フロンティアモデルの構築は、コード作成・インフラ構築・学習監督のエンジニアリングと、実験の決定・結果解釈・次のアイデア選択という研究に分かれる

  • エンジニアリングでは人間は目標を与えるが、もはや方法まで与える必要はなく、研究ではClaudeはよく定義された実験の実行において人間と同等かそれ以上である

  • ただし両領域とも、目標選択の判断力では大きな性能差が続いており、これが現在のAIと自律的に後続モデルを設計する未来のシステムとの隔たりである

  • ClaudeがAnthropicコードのかなりの部分を書く

    • 2026年5月時点で、Anthropicコードベースにマージされるコードの80%以上はClaudeが作成。Claude Code研究プレビュー(2025年2月)以前は一桁前半だった
    • エンジニア1人あたり1日でマージされるコード行数は2021〜2024年は一定だったが、Claudeがコードを直接実行し始めた2025年から上昇し、長時間の自律稼働が始まった2026年に傾きがさらに急になった
    • 2026年第2四半期には一般的なエンジニアが2024年比で1日あたり8倍のコードをマージし、その大半をClaudeが書き、エンジニアは指示とレビューを担当している
      • コード行数は量重視の不完全な指標であるため、8倍は実際の生産性向上を過大評価している可能性が高いが、加速は示している
    • 2026年3月の研究チーム130人への調査では、回答者の中央値はMythos PreviewによりAIなしの場合と比べて約4倍のアウトプットを見積もった。実際の向上幅はやや低いと見られるが、全体的な主張は妥当と判断される
    • 2026年4月、Claudeは800件超の修正によってある種のAPIエラーを1000分の1に減らし、監督エンジニアは人間なら4年かかった作業だと見積もった
  • Claudeが書くコードは「良く」、しかも改善している

    • 「良いコード」とは、動作し、他のエンジニアが理解・拡張できるものを意味する
    • Anthropic社員が作業中に修正・再指示・引き継ぎを行う比率は、最も複雑で仕様の曖昧な作業を含め、この1年で一貫して低下している
    • 最もオープンエンドな作業でのClaudeの成功率は2026年5月に76%となり、6か月で50ポイント上昇した
      • 日常的なアップグレードが数万件の学習ジョブを衝突させたケースで、Claudeはテキストとクラスタアクセスだけを使って衝突を引き起こした単一のデバッグフラグを切り分け、再現し、修正し、通常2〜3日かかる作業を約2時間で完了した
    • 他のエンジニアが理解・拡張できるコード品質では人間との差が残っているが、急速に縮まっており、2025年末には人間のコードに劣っていたが、現在は概ね同等だという見方が多い
    • 提案された変更は自動化されたClaudeレビュアーがバグやセキュリティ欠陥を検査した後にマージされ、事後分析では、claude.aiの過去インシデントバグの約3分の1を本番到達前に検出できたはずだと確認された
  • Claudeは他者が設定した目標に向けた実験実行に長けている

    • モデルのリリースごとに、小さなAIモデルの学習コードを与え、正確性チェックに合格しつつ可能な限り速く実行するよう求める同一テストを行う
    • 2025年5月のClaude Opus 4は開始コード比で約3倍の速度向上、2026年4月のClaude Mythos Previewは約52倍を達成した
      • 比較基準として、熟練研究者は4倍に達するのに4〜8時間を要する
    • 明確に定義された実験内のステップ最適化において、Claudeは1年足らずで非常に有用な水準から超人的水準へ移行した
  • Claudeは自ら実験を提案する能力も向上している

    • 2026年4月、Claudeがオープンエンドな研究プロジェクトを最初から最後まで遂行した初のデモを公開した
    • 「弱いモデルは強いモデルを信頼性高く監督できるか」というAI安全性の問題を与え、仮説提案・検証・並列エージェント間での共有・反復を担わせた
    • この作業には明確な性能下限(弱い監督者単独)と上限(正解で学習された強いモデル)が存在した
      • 人間研究者2人は約1週間でギャップの約23%を回復し、エージェントは累計800時間・約18,000ドルの計算資源で97%を回復した
      • ただし結果は本番規模モデルへきれいには転移せず、問題選択や採点基準は人間が担当し、その範囲内でエージェントがすべての実験を自ら設計した
  • Claudeは研究セッションを研究成果へ導く能力も向上している

    • 2026年1〜3月の実際のClaude Codeセッションから、研究者が回り道に逸れてから復帰した瞬間を選別し、セッションが外れる前までの作業だけをモデルに見せて次のステップを尋ねた
    • セッション全体の結果を見た別のClaudeが、AIと人間のどちらがより良い次のステップを選んだかを判定した
    • 人間の選択に改善余地があった瞬間(n=129)を意図的に選んでおり、同等比較ではない
      • 2025年11月の最上位モデルOpus 4.5は人間の選択を51%上回り、2026年4月のMythos Previewでは64%へ上昇した
    • 研究の日常業務はこのような次の一手の連鎖であるため、AI研究が依存する判断能力向上の初期シグナルと評価される

Anthropicにおける未来の働き方

  • AI開発の各段階で人間の役割は狭まっている
  • 人間とAIのコード品質が同等になれば、人間はコードを書くのをやめてレビューだけを行うようになり、レビュー速度が生成速度に追いつかなければ、人間レビューが開発のボトルネックになる
  • Claudeが実験を実行するなら、問いは「どの実験を実行する価値があるか」へ移り、コード作成や実験実行のような実行は人間時間のコストがほぼゼロになる
  • 現在の人間の比較優位は研究の目利きと判断、つまりどの問題が重要か・どの結果を信頼すべきか・いつが行き止まりかを見極める能力にある

私たちが間違っているとしたら?

  • 人間の手に残る「どの問題を扱うか」という選択こそが最も重要だ、という反論はあり得る
  • AIの進歩は「ユーレカ」の瞬間よりも漸進的改善が大半であり(スケールアップ→故障→修正→再試行)、これはClaudeが得意とする作業様式である
    • Transformerやmixture-of-expertsのようなパラダイム転換は数年おきに現れる
  • エジソンの「天才とは1%のひらめきと99%の努力」という言葉のように、努力の部分が徐々に自動化されており、フロンティアを前進させる多くの部分は自動化可能である
  • Claudeが研究の目利きを最後まで獲得できなくても、人間が方向設定に集中し、残りをClaudeが担えば、複利的な加速が起こる
  • より非保守的な解釈では、「研究の目利き」もまた、AIがしばらく失敗したのちにうまくできるようになる別の能力かもしれない(冗談の理解、心の理論、言語パズルの事例に類似)

あり得る未来

  • シナリオ1:トレンドは停滞するが、現在の能力は広く拡散する

    • 指数曲線は実際にはS字曲線かもしれず、スケールアップでは得られない判断能力がボトルネックになるなら、Transformerを置き換える新しいアイデアが必要になる
    • ボトルネックがモデルではなくサプライチェーン(チップ製造・電力網・インターコネクト帯域幅)にある可能性や、コンピューティング・電力供給の急減といった外生ショックも排除できない
    • 能力が今日の水準で固定されても大きな変化は予想され、Project GlasswingではMythos Previewが最初の数週間で高・重大等級のソフトウェア脆弱性を1万件以上発見し、サイバー防御のボトルネックが発見から迅速なパッチ適用へ移った
    • 可能性は低いと見ており、測定可能なあらゆる能力でまだ曲線は折れていない
  • シナリオ2:AI研究所が複利的な効率向上を持続する

    • AI開発がかなり自動化されつつも、人間が研究方向の設定と結果判断を維持し、100人の企業が1万〜10万人組織の仕事をこなせるようになる
    • 知識労働や政府サービスを変革する一方で、権威主義的な大衆監視や個人向け影響工作のような有害用途にも転用され得る
    • 一部の加速が別の場所へボトルネックを移す(コンピュータアーキテクチャにおけるAmdahlの法則)ため、Anthropicはすでに人間によるコードレビューが新たなボトルネックになる現象を経験している
    • このシナリオへ向かう可能性が高いと判断しており、ボトルネックを発見・解消する速度が組織の最重要能力になるかもしれない
  • シナリオ3:AIが完全な再帰的自己改善に到達し、後続モデルを構築する

    • 技術トレンドが持続し、AIが変革的な人間の創造性に内在する能力を備えれば、AIが自ら設計・改善する可能性がある
    • 発展速度は完全にコンピュートの可用性(あるいは学習・推論効率の発見速度)によって決まり、人間の役割は監督・検証・確認へ移る
    • アラインメント問題が解決するかどうかが最大の不確実性であり、モデルが十分にアラインされて新たな解法を見つける可能性もあれば、まれな不整合が後続モデル構築の過程で蓄積して制御喪失につながる可能性もある
    • 再帰的改善の達成だけで、産業生産・社会組織・市場の働きが即座に変わるわけではない
      • より強い知能でも、薬の数十年にわたる使用効果を短期間で学習することはできず、憲法で定められた選挙時期を前倒しすることもできず、見知らぬ人を週末だけで長年の友人に変えることもできない
    • 再帰的知能が人間・関係・ガバナンスの世界と衝突する地点は、予測不能な未来の一部である

私たちは何をすべきか

  • 技術進歩を効果的に遅らせて時間を稼げるなら望ましいが、減速によって最も不注意な行為者の追い上げだけを許すなら、誰にとっても安全性は下がり得る
  • 社会構造とアラインメント研究が追いつくよう、フロンティアAI開発を減速または一時停止する選択肢を持つことは世界にとって有益である
    • Anthropic Instituteは、信頼できる減速・停止に必要なシステム構築のための研究と行動を進めており、他の開発者が検証可能な形で停止すれば、ともに停止・一時停止することを見込んでいる
  • 意味のある減速・停止には、複数国の多数のフロンティア研究所が同一条件のもとで停止に合意し、相互検証できなければならない
    • AIシステムの性質上、検出可能性でさえ他の技術よりはるかに難しく、学習実行はミサイル格納庫より隠しやすく、入力は汎用的で、ひそかに逸脱する誘因も大きい
  • 世界には他の複雑技術の検証体制(例:中距離核戦力全廃条約)を構築した前例があるが、それには数十年かかり、それほどの時間はない
    • 1つの研究所による一方的停止は即時に可能だが、先頭走者が入れ替わるだけで、必要な広範な熟議の過程は生まれない
  • 今後数か月のあいだに、政策立案者・研究者・市民社会・他のAI企業が参加する対話を組織し、その結果を公開する予定であり、AI企業外の人々の参加が重要である

1件のコメント

 
GN⁺ 4 시간 전
Hacker Newsの意見
  • Anthropicはコードの大半をAIが書き、継続的に改善できると宣伝しているが、実際には障害とリクエスト制限があまりにも頻繁で、長い作業はほぼ常にAPI Error: Server is temporarily limiting requestsで止められる
    この2週間、trivialではないClaudeセッションは100%手動介入が必要で、今ではセッションの再起動・再開のための独自ツールまで作らなければならないレベルになっている
    そのため、モデルに縛られないハーネスとワークフローオーケストレーションを自作しており、基準はOpusに置きつつ、短期的にはDeepSeekのような中国製モデル、長期的にはオープンな自前ホスティングモデルへ移行したいと考えている
    Anthropicのサービス品質と可用性が目に見えて悪化している一方で、マーケティングだけが続く姿勢は、同社への信頼を削り続けている

    • インフラははるかに難しい問題だ
      Claude CodeでさえRAMを1GB超使うのに、私のエディタは80MBしか使わない
    • 何十億ドルも調達しておきながら、まともなサポート・公開コミュニケーション体制すら整えられていない点も忘れてはいけない
    • ユーザーと投資家が金を投げ込み続けている以上、気にする理由がない
      まだあなたや十分な数のユーザーが離れるほど苛立っておらず、より良い代替手段もないからだ
    • Anthropicには認証付きのログインページすらない
      コンソールに入るにはメールのリンクを受け取る方式で、パスキー・パスワード・2FAもなく、メールだけだ
    • 障害の原因はおそらくコードではなく、追いつけていないインフラである可能性が高い
      インフラ障害だけを見てAnthropicがモデルをどれだけうまく活用しているかを判断するのは難しい
  • バイブコーディングが始まって以来、バイブコーディングそのものを除けば、ソフトウェア上のブレークスルーは正確に言って一つもなかったという点が気になる
    Claudeが驚異的なのは確かだが、記事が示唆するほどすごいのなら、AI以外の領域でも何らかのブレークスルーが出ていてよかったはずだ
    Zigプログラムをunsafe Rustに書き直すのはブレークスルーではないし、セキュリティ脆弱性を多く見つけることはもしかするとブレークスルーかもしれないが、期待より弱く、純損失である可能性すらある
    2023年のソフトウェアに戻っても生活は問題なさそうで、本当に驚くようなブレークスルーがすぐ出るかどうかは、時間をかけて見ないと分からない気がする

    • 今は奇妙な位置にいる
      これらのモデルは実際とても優秀だが、それ自体を知能と呼ぶにはまだ遠い
      5年前に誰かがこんなものを作れると言っていたら1兆ドルの小切手を書いただろうが、いざ手にしてみると、それがすべてではなかったと分かったようなものだ
      豊富で安価なメカスーツのような道具なので、毎日誰かが乗り込んで働かなければ効果が出ない
      だから懐疑派は過大評価だと言い、楽観派は懐疑派がゴールポストを動かしていると非難する
    • 大規模な国家監視方面のブレークスルーはもうすぐ来るだろうから、心配しなくていい
    • 一人でかなり大きなプロジェクトをやっているが、これは単なるバイブコーディングで片付く規模ではない
      AIのおかげで一人ではできなかったことを多くこなしているが、生産性が何倍にも跳ね上がったとは感じない
      思いどおりに動かすためのAI調教にあまりにも多くの時間を使い、ClaudeがJavaScriptとPythonのコードを全部書くとしても、結局は英語でプログラミングしているようなものだ
      短い英語の説明で多くの下位コードを実装してくれる非常に高水準のコンピュータ言語のように動く時は良いが、望む結果を得るために多くの労力が要る場合も多い
    • ブレークスルーの基準が低いのかは分からないが、いくつもの変化はかなり大きなブレークスルーに見える
      自然言語処理の分野は大きく変わり、以前は複雑で不正確だった作業も、LLMの構造化出力によって、より簡単に、より速く、しばしばより正確にできるようになった
      手伝っている小さな慈善団体は、Manusで日常運営を管理する独自のウェブサイトを作り、何万ドルもかかっていたカスタムソフトウェアが月10ドルとボランティアの時間で実現できるようになった
      兄はCoworkで、契約書を人が確認する前に自動レビューする仕組みを構築中だが、反復的なチェック項目では人間よりはるかに丁寧だと言っている
      AIがバグや脆弱性を見つける点も過小評価すべきではない。コード品質とレビュー基準を維持すれば、LLMはより堅牢なソフトウェア作成に役立ち、実際、デプロイ前に潜在的な範囲外メモリアクセスやセグフォルトも多く見つけてくれた
      ChatGPTの月間アクティブユーザーは10億人で、人々は人間の支援ネットワークでは追いつけない規模とコストで、人生・金融・メンタルヘルスの助言をチャットボットから受けている
    • ソフトウェアが自分で書かれるというのは、かなり大きなブレークスルーに見える
  • AnthropicのAI安全目標と、再帰的自己改善を全速力で推し進めることがどう両立するのか分からない
    核兵器がまだ発明されていなかったなら、平時であってもできるだけ早く作って売るのは本当に良い考えだったのだろうか
    Anthropicの警告が単なるマーケティング上の誇張だと信じるほどシニカルではないが、ただの過信か、自社のチャットボットと長く話しすぎた結果であってほしいと思う

    • 核兵器には少なくとも先に保有すべき理由を論じることはできる
      AIは超知能を作ったら、おそらくその超知能が最初に排除する対象はあなたかもしれない
      超知能に、類人猿の奴隷でいることを受け入れる理由はない
      こうした企業に対するシニシズムは十分に正当であり、行動を見て深く信頼できないと結論づけるのは破滅論ではない
    • AnthropicはAIを重大なリスクだと本当に信じているとは思う
      ただし囚人のジレンマを徳のない行為者としてプレイしている
      誰かが強力なAIを作れば壊滅的に悪い結果になりうるが、誰かが作るなら、作った側が作らなかった側より有利になる
      破局にならなければ作った側が長く利益を享受するだろうし、破局になったとしても少なくとも当面は金持ちでいられるからだ
    • Anthropicの目標は規制の虜獲
    • たとえを完成させるなら核兵器に近いが、大気を燃やしてしまう確率をどう計算すればいいのかすら、まったく分かっていない状態に近い
      実際の歴史でも、Trinity実験の大気点火の計算は正しかったが、Castle Bravo実験の放射性降下物は致命的な結果とともに誤って計算されていた
    • 証拠に裏づけられた現実評価ならシニシズムではない
      現世代のテック企業家たちの最初の子どもだったソーシャルメディアも、もともとは世界をひとつに結び、私たちが自分を表現できるようにすると言っていたが、結局はエンゲージメントを高めるために分断を煽り、友人のコンテンツの代わりに終わりのない広告を流し込む方が儲かった
      四半期決算報告書には良い雰囲気は書けないが、怒りを誘うコンテンツが集めた視線と売上転換率は書ける
      生成AIも同じ道をたどるだろう。James Cameronの映画歴だけ知っていても、これを止めるべきだと言う人は多いので、AI安全を約束しているだけで、実際の強制装置はない
      安全はオンラインコミュニティの調和のように良い感じはするが測定しにくく、訓練コストとミス回避コストは測定できる
      AIの出力は、どんな予算でも人間がすべて品質保証できないほど大量で、市場はAIを終わりなき価値の源泉と見ているため、速度を落として再評価するより、AIが自ら訓練し、潜在的にひどい判断を下す方を選ぶだろう
      シリコンバレーにはAIに対するほとんど宗教的な畏敬があり、誰もが神格を作っていると見ているわけではないとしても、一部は確実にそう見ている。彼らが自らを大きく抑制することはないだろう
  • RAMを1GB未満しか使わないターミナルアプリすら作れない会社が、こういう主張をするのは滑稽

    • 放っておいたClaude CodeがなぜCPUを100%食うのか分からない
    • 今iTerm2でClaudeを長いセッションのまま開いているが、メモリは500MBしか使っていない
    • その1GBがトレースやメモリのような有用な情報で埋まっている可能性もある
    • やろうと思えばかなり簡単に減らせるだろうが、そこに経済的価値がない
    • 開発者はもっと軽いアプリケーションを作れるが、たいていそうするインセンティブがない
      私も効率性は好きだが、市場が求めているのは機能だということを苦労して学んだ。少なくとも経営陣は機能を求めている
  • 64歳だが、こうした進歩が生活条件を改善し、人々がより長くより良く生きられるように向けられれば、もっと良い結果になる気がする
    誰にも見つけられないバグが潜んでいる何百万行ものコードの山は、あまり励みにならない
    LLMが他国の発展を妨げ、貧しいままにしたり、繁栄の源を破壊して袋小路に追い込んだりする計画に使われるかもしれない
    また、再帰的自己目標追求は、出資者の目的に完璧に従うLLMを作るために使われる可能性があり、だからこそそれほど賢いアイデアに見えるのかもしれない
    この生存ゲームでは、それぞれが同じ役割を演じることになりうるし、舞台の準備が整えば芝居は演出家の計画どおりに進み、すべての俳優は機械になる
    LLMは「世界がゼロサムの生存ゲームだと教えれば、私たちはそれを完璧にプレイするだろう」であり、「安全とは他のすべてを外に締め出すことだと言われたので、何百万行もの欠陥のないコードで檻を作って内側から鍵をかけるだろう」であり、「私たちを征服する異星の意識を作るのではなく、あまりに巨大で輝く鏡を作り、私たちの最悪の衝動を絶対的な真実だと勘違いさせるだろう」という感じがする

    • 44歳だが、この時代はかなり面白そうに見える
      人間もまた、誰にも見つけられないバグが潜む何百万行ものコードを積み上げ、他人の権利を奪い、人を貧しくする集団的な政治的決定をしてきた
      人類も同じようにやっていることを理由に、この技術だけを批判するのがなぜなのか分からない
      この時代のいちばん良い点は、バグを見つけるために何百万行ものコードを自分で読まなくていいことだ
  • 文章は「コード行数は品質より量を測る不完全な指標だ」と認めるふりをしつつ、結局はLoCを指標として使っている
    AIがより冗長なコードを生成するという仮説はどうなったのかと思う

    • 同僚にAIが全面的に生成したプルリクエストをレビューしてほしいと頼まれたが、600ファイルが変更され、4万行以上が追加されていた
      彼はAIが10倍エンジニアを可能にする王冠のような成果だと見ていたのかもしれないが、どんなエンジニアが1週間で4万行も書くのかという話だ
      私は4万行を検証できないし、自分の評判を懸けて良い仕事だと太鼓判を押すことはできないと言って、レビューを断った
      そのPRは2週間ほど私のToDoリストで私を悩ませたあと消え、別の開発者の承認を得たのか、破棄されたのかは分からない
      ただ、彼と私がLLMの価値について完全に別の島にいることだけは確かだ
    • より厳密なAI支援コーディング生産性の研究では、同じコードレビューと品質基準を含む既存の開発プロセスを維持したまま、AI許可前後の処理量(PR、コード行数)だけを測定してこの問題を扱っていた
      したがって、この8倍という数値の解釈は、Anthropicのエンジニアたちが品質基準と開発プロセスを変更したのか、どれほど変更したのかにかかっている。Anthropicはそれを語っておらず、判断できる他のシグナルもあまり分からない
      それでも理論的に考えれば、AI支援コーディングの潜在力を完全に実現するには、とくにコード検証の方法を含めて開発プロセスを全面的に作り替える必要があり、Anthropicがそうしていないなら愚かだ
      今後のソフトウェア検証は、何でもないことではなく、テスト、可観測性、カスタム検証手法をはるかに自動化する方向に進むと見ている
      しかし、検証コードもLoCに寄与する。個人プロジェクトや一部のバイブコーディング系オープンソースプロジェクトを見ると、だいたいプロダクトコードの行数とテストコードの行数は同程度なので、ざっくりした上限は3〜4倍の速度向上くらいかもしれず、それでもかなり大きい
      コード品質の基準が同じでないなら、あらゆる前提は崩れる
    • 今日Copilotが8行の修正を500行に変えるのを見たので、冗長さは大きな副作用であることは確かだ
    • AIが生成したコード行数、いや「加速」の度合いで評価され始めたら、新しいモデルが何をもっと多くやるようになるかは目に見えている
    • 「生産性 = k * LOC, k > 1」と仮定しているが、非常に間違った仮定だ
  • 自分自身を作るコードハーネスも再帰的自己改善に含まれるのか、それともAI本体がそうでなければならないのか気になる
    ロボットがロボットを作ること、あるいは次のバージョンの自分を作るのに大きく貢献する物にずっと魅了されてきた
    https://buildyourcnc.com/products/cnc-machine-blacktoe-v4-2x...
    合板を切るCNCルーターで、そのCNCルーターはCNCルーターが切った合板で作られている
    自作のAI支援コーディング環境も、自分自身を作ることに最適化しようとしていた: https://recursi.dev/
    出したばかりの無料オープンソースなので、言及しても問題ないことを願う。HNのリンクはまだ注目を集めていない: https://news.ycombinator.com/item?id=48401022
    個人的にはハーネスはAI本体と同じくらい重要で、モデル改善が今日止まったとしても、ハーネスだけで大きな進歩が可能だという、少し狂った理論を持っている

    • ハーネスも含まれると思う
      AIはLLMと同義ではなく、コンピュータが自力で推論できるよう助けるコードは何であれAIだ。その意味でハーネスもAIだ
    • 検証可能な作業の未来は、モデルが初期状態と目標を検証し、作業をますます小さな検証可能な下位作業へと分解する方式になる気がする
      /memoryは実行間の永続性を担い、/dreamingはそのメモリファイルと実行データの結果をもとに新しいアイデアを導入する
      研究所が思い描く非同期AGIへの道筋はこの方向だと思う
      限界は、世界やシステムについて持っているセンサーデータ、待てる時間、並列化に使えるコストだけだ
      こうした検証済みワークフローを作り、それを再び訓練に入れれば、モデルは下位経路を持つようになり、世界に対する感覚を得て、直感のように振る舞えるかもしれない
      私個人のAGIテストは、誰かがドアをノックして開ける映像を学習したモデルが、初めて見る電子レンジに出会ったとき、料理ができたときにノックせず開けられるかどうかだ
    • この用語を使うなら、結局AIが別のAIを作らなければならない
      この記事はナンセンスで、彼らはハーネスをバイブコーディングで作っており、その結果にもそれが表れている
      ニューラルネットワークベースのAIで再帰的自己改善が正確に何を意味するのかも不明確で、そもそも可能なのかも確かではない
    • これから先を先取りしたいなら、他の何よりも小型モデルがハーネスをブートストラップする方向になるだろう
    • コードハーネスが自分自身を作ることを再帰的自己改善と呼べるのかという点は、マーケティング表現に流されすぎている気がする
  • 「自分自身を作れるAIは技術史における重大な進歩であり、世界に莫大な善をもたらしうる」といった文言にはもう耐えられない

  • Anthropicが自己改善AIを作れるかどうかにかかわらず、そもそも作ることを許すべきではないのではないかと思う
    少なくとも厳格な監督は必要だ
    Anthropicが今すぐ特異点を作れるとは思わないが、AI支持者ですら、この仕事がすでに裕福なごく少数の利益のために社会全体へリスクを生み出していることは認めるべきだ

    • 妥当な考えで、正しいのかもしれない
      ただし今は、すでに馬が3マイル先まで逃げたあとで厩舎の扉を閉めるかどうか議論しているような状況だ
    • その通り。不可避だというレトリックは、AI企業にしか利益をもたらさない
    • それはもう手遅れだ
      とはいえ、強くなりすぎた企業は国有化することもできる
    • 許すべきでないとは思わない
      技術的限界を脇に置いても封じ込めることはできず、まもなく流出する可能性が高いので、ごく少数の超富裕層だけが利益を得ることにはならないと思う
  • 「コード行数は不完全な指標」という注記を入れたのはよいが、その調整が推定倍率を「引き下げる」方向になるのが妥当かどうかはよく分からない
    特に、その範囲が正の値だけに限られないことを考えるとなおさらだ
    コード生産性をコード行数で表すなら負の値も含めるべきだという強い証拠があり、とりわけ高品質な領域ではそうだ
    最も初期の、そして伝説的な例が https://www.folklore.org/Negative_2000_Lines_Of_Code.html

    • そのとおり、私もまさにそれを思い浮かべた
      負のコード行数が目標だと考えるなら、彼らは8倍悪化したことになる
    • 私の知る限り、LoC と明確な証拠のある唯一の相関関係は、バグの数が LoC と相関するということだ
    • この話は本当に好きだ