コーディングでDeepSeek R1が有望な結果を示す

• llama.cpp プロジェクトで「WASMの速度を2倍向上」させるPRが公開
  • SIMD命令を活用して qX_K_q8_K および qX_0_q8_0 の内積（dot product）関数を最適化
  • コードの大半（99%）は「DeepSeek-R1」によって自動生成
  • DeepSeek-R1がプロンプトを処理するのに3〜5分を要した

DeepSeek-R1のコード生成性能

• PR作成者はDeepSeek-R1を使って最適化コードを生成・改善し、自身ではテストコードとプロンプト作成のみを直接実施
• 使用したプロンプトで確認可能
• DeepSeek-R1は llm_groq.py を最適化する過程で優れた思考連鎖を示した

DeepSeek-R1 vs OpenAI o1 性能比較

• 同じ作業をOpenAI o1でも行ったが、DeepSeek-R1の結果の方が優れていた
• 例示コードで model_map を最適化する思考過程:
  • 当初は model_map が必要だと判断
  • その後、APIレスポンスに基づいて動的に構成できるのではないかと検討
  • 最終的に model_map を削除するのが最適な解決策だと判断

結論

• DeepSeek-R1は自動コード生成と最適化で優れた性能を示した
• WASMでSIMDを活用した最適化により、llama.cppの性能が大幅に向上
• PRが適用されれば、WebAssemblyベースのアプリケーションの実行速度が大きく改善されると期待される

[bungker]

ollama で deepseek r1 14b 30b 70b を回してみたところ、全体的な推論は良いのですが、細かなミスが多いですね。r1 は本当に素晴らしいです

[yangeok]

8b蒸留版を回してみましたが、日本語性能が落ちますね

[yangeok]

コード生成では有望な結果を生み出しているようです

[GN⁺]

Hacker Newsの意見

• DeepSeek-R1 が llama.cpp の PR のコードの 99% を書いた。AI がコーディングに大きく貢献できることを示す事例だ

  • Aider は各リリースで新規コードの約 70% を書いており、Sonnet 以降は AI 生成コードの比率が 50% 以上に増加している
  • ここ数か月の間に Aider が書いた新規コードの比率は 70% で、記録は 82% だった
  • Sonnet から DeepSeek V3 への移行を徐々に進めてコーディングしており、R1 も試しているが、最近の API 停止で苦労している

• DeepSeek-R1-Distill-Qwen-32B を Ollama 経由でノートPC上で動かしており、約 20GB の RAM が必要だ

  • コードのリファクタリングに有用で、コード内のミスを見つけるのに役立つ

• DeepSeek-R1 が llama.cpp の PR のコードの 99% を書いたことは、注目すべきマイルストーンだ

• DeepSeek に ARM SIMD コードを WASM コードへ変換するよう依頼し、これはコード最適化に役立った

  • SIMD 命令を扱うことは、高度なコード最適化よりもさらに難しい作業だ

• LLM がコーディングに役立たないという主張は誤りだ

  • AI が開発者を代替できるという主張は、まったくの大げさというわけではない
  • より多くのアプリケーションへの需要がなければ、雇用は減る可能性がある

• o1 Pro と Deepseek R1 を使って e2e テストを書いたところ、Deepseek のほうがより良いテストを書いた

  • テストは通らなかった

• Xuan-Son は ARM NEON を SIMD に変換するだけでなく、新しいアプローチを開発するよう依頼した

  • 週末プロジェクトとして wllama を最適化しようとし、LLM を使って作業を成功裏に完了した

• DeepSeek R1 を使って llm_groq.py プラグインを書き直し、これは Llama モデルをファインチューニングした deepseek-r1-distill-llama-70b で行われた

• AGI が数か月以内に到来する可能性があり、トレーニングは 3 段階で進むだろう

  • 長期的な生存のための多様性を確保するには、さまざまなモデルを訓練することが重要だ