Claude 3.5 Sonnet リリース: GPT-4oを上回る性能

Anthropicは本日、Claude 3.5 Sonnetをリリースしました。これは、まもなく登場するClaude 3.5モデルファミリーの最初のバージョンであり、既存のClaude 3 Opusや競合モデルを上回る性能を誇ります。Claude 3.5 Sonnetは、中位モデルであるClaude 3 Sonnetと同じ速度とコストで提供されます。

提供形態

Claude 3.5 Sonnetは、Claude.aiとClaude iOSアプリで無料で利用でき、Claude ProおよびTeamプランの契約者は、より高いリクエスト上限とともにアクセスできます。また、Anthropic API、Amazon Bedrock、Google CloudのVertex AIからも利用可能です。料金は入力100万トークンあたり3ドル、出力100万トークンあたり15ドルで、200Kトークンのコンテキストウィンドウを提供します。

性能向上

Claude 3.5 Sonnetは、大学院レベルの推論（GPQA）、学部レベルの知識（MMLU）、コーディング能力（HumanEval）で新たな基準を打ち立てました。ユーモアや複雑な指示を理解する能力が大きく向上しており、自然で共感を呼ぶトーンで高品質なコンテンツを作成できます。

内部評価結果

内部コーディング評価において、Claude 3.5 Sonnetは問題の64%を解決し、Claude 3 Opusの38%を上回りました。この評価では、自然言語による説明をもとに、オープンソースのコードベースにあるバグを修正したり機能を追加したりする能力をテストしました。Claude 3.5 Sonnetはコード翻訳も容易にこなすため、レガシーアプリケーションの更新やコードベースの移行に特に効果的です。

視覚能力

Claude 3.5 Sonnetは、標準的な視覚ベンチマークでClaude 3 Opusを上回り、視覚的推論を必要とする作業で際立った性能を示します。不完全な画像からテキストを正確に転記する能力は、小売、物流、金融サービス分野で非常に有用です。

Artifacts機能の導入

本日Claude.aiに導入されたArtifactsは、ユーザーが生成したコードスニペット、テキスト文書、Webサイトデザインなどのコンテンツをリアルタイムで編集し、プロジェクトやワークフローに統合できる動的なワークスペースを提供します。

安全性とプライバシー

Claude 3.5 SonnetはASL-2レベルで厳格なテストを受けており、英国人工知能安全研究所（UK AISI）と協力して、事前配備の安全性評価を完了しました。ユーザーデータは、明示的な許可なしに学習へ使用されることはありません。

今後の計画

Claude 3.5モデルファミリーを完成させるため、今年後半にClaude 3.5 HaikuとClaude 3.5 Opusをリリースする予定です。新しい機能やモダリティを開発して企業向けアプリケーション統合を支援し、ユーザーの好みやインタラクション履歴を記憶する「Memory」機能も検討しています。

私たちは常にClaudeの改善に取り組み、ユーザーフィードバックを反映してより良い体験を提供できるよう努めています。Claude 3.5 Sonnetへのフィードバックは製品内から直接送信でき、開発ロードマップに反映されます。

[wedding]

テストしてみましたが、速度はものすごく速いですね。
gpt4oのように一定回数無料で使えるのも良いです。