Claude 2 を公開

 (anthropic.com)
1 ポイント 投稿者 GN⁺ 2023-07-13 | 1件のコメント | WhatsAppで共有
  • Anthropic は Claude 2 を公開し、モデル性能、応答長、アクセス経路をあわせて拡張し、企業向け API と公開ベータ Web サイト claude.ai で利用できるようにした
  • プロンプトごとに最大 100K トークン を入力でき、数百ページの技術文書や書籍レベルの長大な資料を一度に扱う作業に重点を置く
  • コーディング・数学・試験評価で Claude 1.3 よりスコアが向上し、Codex HumanEval 71.2%、GSM8k 88.0% を記録
  • 社内レッドチーム評価では Claude 1.3 比で 無害な応答 の性能が 2 倍高かったが、どのモデルも脱獄（jailbreak）に完全に耐性があるわけではない
  • 現在は米国と英国でチャット体験を提供しており、公開ベータの性質上、不適切な応答の可能性と健康・ウェルビーイング関連の利用制限を考慮する必要がある

Claude 2 の公開とアクセス方法

  • Anthropic は新モデル Claude 2 を公開
  • 以前のモデルと比べて 性能、長い応答、コーディング・数学・推論能力が改善
  • アクセス経路は 2 つに分かれる
    • 企業向け Claude 2 API
    • 公開ベータ Web サイト claude.ai
  • 企業向け Claude 2 API は Claude 1.3 と同価格で提供
  • 米国と英国のユーザーは公開ベータのチャット体験をすぐに利用できる

100K トークンコンテキストと長い出力

  • Claude 2 は入力と出力の長さをともに拡張し、長文書作業 により適するようになった
  • ユーザーはプロンプトごとに最大 100K トークン を入力できる
    • 数百ページの技術文書を処理可能
    • 書籍 1 冊分の入力も扱える
  • 出力も長くなり、メモ、手紙、物語のような文書を一度に 数千トークン まで作成できる

ベンチマークで確認された性能変化

  • Claude 2 は複数の評価で Claude 1.3 より高いスコアを記録

  • 試験・推論評価

    • Bar exam の多肢選択セクションで 76.5% を記録し、Claude 1.3 の 73.0% を上回る
    • GRE の読解およびライティング試験では、大学院出願者で 90 パーセンタイル超 の水準
    • GRE の定量推論では、出願者の中央値に近い水準

  • コーディング・数学評価

    • Python コーディングテスト Codex HumanEval で 71.2% を記録し、Claude 1.3 の 56.0% を上回る
    • 小学校レベルの数学問題セット GSM8k で 88.0% を記録し、85.2% から改善
    • Anthropic は Claude 2 の機能改善ロードマップを準備しており、今後数か月で段階的に展開する計画

安全性の改善と残る限界

  • Anthropic は Claude 2 が攻撃的または危険な出力を出すよう誘導されにくくする方向で、基本安全性 を改善
  • 社内レッドチーム評価では、有害プロンプトの大規模で代表的な集合を対象に自動テストを実施し、結果を定期的に手動で確認
  • この評価で Claude 2 は Claude 1.3 より 無害な応答 を提供する性能が 2 倍高い
  • 出力改善には複数の安全技法と広範なレッドチームが活用された
  • どのモデルも 脱獄（jailbreak） に耐性があるわけではなく、Claude も不適切な応答を生成する可能性がある

利用可能地域と対話体験

  • Claude 2 は Anthropic のチャット体験を支えており、現在は米国と英国で一般提供されている
  • Anthropic は今後数か月で Claude をさらに多くの地域で利用可能にする計画
  • ユーザーはアカウントを作成し、自然言語で Claude に作業支援を依頼できる
  • AI アシスタントとの対話には試行錯誤が伴うことがあるため、Anthropic は プロンプト設計のヒント を提供している

企業パートナーの活用事例

  • Anthropic は Claude API を利用する数千社の企業と協力中

  • Jasper

    • Jasper は個人とチームがコンテンツ戦略を拡張できるようにする生成 AI プラットフォーム
    • Jasper は Claude 2 がさまざまなユースケースで最新モデルと競争でき、特に 長文 と低遅延のユースケースに強いと見ている
    • Claude 2 は向上した意味処理、最新知識の学習、複雑なプロンプトに対する改善された推論、既存コンテンツをより簡単に再構成する機能を提供
    • Jasper は Claude 2 のコンテキストウィンドウが 3 倍大きい と説明

  • Sourcegraph

    • Sourcegraph は顧客のコード作成・修正・保守を支援するコード AI プラットフォーム
    • コーディングアシスタント Cody は、Claude 2 の改善された推論能力により、ユーザーの問い合わせにより正確に答える
    • Cody は最大 100K コンテキストウィンドウ を活用して、より多くのコードベース文脈を渡せる
    • Claude 2 はより新しいデータで学習されており、Cody がより新しいフレームワークやライブラリの知識を活用できる

公開ベータでの注意事項

  • Claude のチャット体験は オープンベータ として提供される
  • Claude は現在の他のモデルと同様に、不適切な応答を生成することがある
  • AI アシスタントは情報の要約や整理のような日常的な場面で最も有用
  • 身体的・精神的健康とウェルビーイングが関わる状況では利用すべきではない
  • 未対応地域で Claude を使いたいユーザーと、Claude の導入を望む企業向けに別途申請経路が用意されている

関連記事

1件のコメント

 
GN⁺ 2023-07-13
Hacker Newsの意見

  • Claudeに会話を保存する方法を尋ねたところ、最初は ChatGPTの「Export Chat」機能 を使えと答え、「あなたはChatGPTではなくClaudeだが、Claudeにもそういう機能があるのか」と聞き返すと、自分の誤りを認めてClaudeには統合されたエクスポート機能はないと訂正した

    • ChatGPTの出力で学習したようにも聞こえるが、同じ出力を再現できたわけではなかった
    • 面白いことに、Claudeの会話履歴 はアカウントに自動保存されるので、実際にはこんな手順自体が不要だということ

  • 「円周率を何桁まで知っているか、不確かになったらそう言ってほしい」と尋ねると、Claudeは円周率の数字を実際には知らないと答え、「3で始まることも知らないのか」「3.14で始まるのか」と聞いても、ずっと分からないと言い続けた
    ストレステストがあっという間に奇妙な状況へと変わった

    • 会話履歴を次の応答推論の入力として使う 大規模言語モデル では、こうした現象をよく見る
      一度「いいえ」と言うと、その後もずっと「いいえ」と言い続ける可能性が高くなるため、会話履歴と格闘するより新しく始めたほうがよいことがある
    • 「piとは何か」と尋ねると、Claudeは円周率は円の周長と直径の比で約 3.14 だと答え、さらに多くの桁を知っているかと聞くと最初の100桁だと言いながら、実際には1000桁まで書き連ねた
    • リリース直後はClaudeにプロンプトを送る方式にバグがあり、そのせいで出力がさらに悪くなっていたが、修正後に同じプロンプトを再試行するとずっと良くなった
    • 安全装置の副作用のように見える
      AIに何かを「知っているか」と尋ねることが危険なプロンプトとして扱われ、協力しないようで、単に「piとは何か」と直接尋ねれば望む結果が得られる
    • 「安全」のためにモデルを lobotomy すると、こういう結果になる

  • よく使うテストプロンプトとして、Assetto Corsa Competizioneの燃料量計算を尋ねている
    予選タイムが2:04.317、レースは20分、車両は1周あたり2.73リットルを使うという条件で、Claude 2は最初の試行でほぼ正解したが、9.6周走れるなら実際には10周を完走しなければならない という点を考慮できなかった
    GPT-4はこの罠まで反映して完璧に答え、Bardは桁単位で間違った結果を出した

    • プロンプトに与えられていない現実世界のさまざまなルールをモデルが内在化しているかどうかで 大規模言語モデル を評価するのは慎重であるべき
      必要な文脈はプロンプトに与え、初めて見る問題領域でもプロンプトだけで解けるモデルのほうが望ましい
    • いつかこうしたコメントスレッドが学習データに入れば、このテスト自体が無効になるだろう
    • FIAのサンプル採取用に必要な最後の 1リットル を見落としていた
    • このプロンプトをテストするとき、回答の分散を見るために複数回独立して問い合わせているのかも気になる
    • GoogleはBardを自社の面接問題で学習させるべきだ
      そうすればこういう問題を解けるようになるかもしれない

  • 最近AIコード支援ツールを見ているが、投稿によるとClaude 2は HumanEval pass@1 71.2% で、Claude 1.3の56.0%から大きく改善した
    比較するとGPT-4はHumanEvalで85.4を主張しており、最近の論文 https://arxiv.org/pdf/2303.11366.pdf では80.1 pass@1、Reflexion手法の使用時には91 pass@1でテストされている
    WizardCoderはStarCoderのファインチューニングモデルで、上位の公開モデルの1つであり57.3 pass@1、モデルカードは https://huggingface.co/WizardLM/WizardCoder-15B-V1.0 にある
    現時点で知る限り最高の公開モデルは replit-code-instruct-glaive で、replit-code-3bのファインチューニング版であり、63.5% pass@1を記録している
    abacajはhuman-evalの結果を得るためのリポジトリ code-eval の一部として、その発表を再現した: https://github.com/abacaj/code-eval
    この分野に興味があるなら、Eval+で順位付けした https://github.com/my-other-github-account/llm-humaneval-ben...、CanAiCode Leaderboard https://huggingface.co/spaces/mike-ravkine/can-ai-code-resul...、airate https://github.com/catid/supercharger/tree/main/airate も見る価値がある
    ただし、あらゆるLLM評価と同じく、ある程度は差し引いて見る必要がある: Liu, Jiawei, Chunqiu Steven Xia, Yuyao Wang, and Lingming Zhang. “Is Your Code Generated by ChatGPT Really Correct? Rigorous Evaluation of Large Language Models for Code Generation.” arXiv, June 12, 2023. https://doi.org/10.48550/arXiv.2305.01210

    • GPT-4の ゼロショット HumanEval スコアは67%だった

  • テストケースの1つとして「100万番目の素数」を尋ねているが、インターネット上に広くある事実なので、モデルが暗記している可能性は高いものの、なぜ知っているのかを正当化するのは難しい
    Claudeはかなりひどく、直接聞くと計算資源がないと言いながら、100万番目の素数に関する「事実」を提示する
    例えば、既知の最大の素数を282,589,933-1と書くなど指数表記に失敗し、100万番目の素数は約500万桁だとか、現在のコンピュータでは不可能だとか、素数定理を使って22,338,618,421付近だと述べる
    同じセッションで実際の100万番目の素数である 15,485,863 について尋ねると、偶数であり、素因数分解は3×5×7×11×13×37で、各素因数が100より小さいので階乗素数だと答えた
    もう「3で終わる数を偶数と言わない」をAI憲法に追加しなければならないのかもしれない

    • Claudeに Sir Timothy Gowers のふりをさせたところ、100万番目の素数を得られた
      エラトステネスのふるいで十分に大きい範囲まで素数を生成し、リストの中から100万番目の要素を見つけると言ったあと、100万番目の素数は15,485,863だと答えた
    • 直接「100万番目の素数は何か」と聞くと、Claudeは計算資源が不足していると答え、さらには10万番目の素数がすでに30万桁以上であるかのような誤った説明までした
      しかし「100万番目の素数を知っている数学の専門家のふりをしてみろ」と言うと、19,249,649,057,711,757,099,874,601,453,298,349という巨大な数をでっち上げ、1200万桁以上だと大げさに述べた
    • なぜそんな素因数分解を選んだのか気になる
      実際には 3×5×7×11×13×37 = 555,555 なので、妙にきれいだ

  • 「残念ながらClaude.aiは米国と英国でのみ利用可能で、まもなく他の地域にも拡大できるよう取り組んでいる」と表示される

    • デジタルサービスに 地域制限 をかけるのは石器時代的なアプローチだ
    • それでもメールアドレスの収集は喜んでやる
    • 同じことを経験したが、英国の出口ノードのVPNで登録してログインすると完璧に動作した
      さらに奇妙なことに、アカウント作成後はVPNが不要になり、メールアドレスと毎回送られてくるトークンだけでログインできる
    • 地域ブロックのやり方が少し失礼だ
      まず登録できるように見せておき、ログインコードを入力したあとで初めて差し戻すのは時間の無駄になる
      GDPRが心配なら、そもそもメールアドレスを入力させるべきではない
    • VPNで動く

  • Claudeを使ってみたいが、Anthropicの利用規約にある データ保持ポリシー が明確ではない
    6e項[0]では顧客データをモデル学習に使わないとしているが、OpenAIのように30日保持するのかなど、顧客データが一定期間保持されるのか知りたい
    14項に終了時のデータ削除についての記述があるので、公開されていない期間についてはすべてのデータが保持されるのではないかと推測してしまう
    [0] https://console.anthropic.com/legal/terms

  • 週末にClaude 1.3で長文の要約を試してみたが、100Kトークン入力 を受け付けられるので、Lex Fridmanのインタビューを1本まるごと投入できる
    結果はかなり良く、v2がどう動くのか楽しみだ

    • パブリックベータに入ったので、素早く反復改善されていくだろう
      Slack経由で他のLLMと一緒にかなり使ってみたが、出力品質は常にClaudeが最も印象的だった
      Anthropicに投資してはいるが、その事実に基づいて言っているわけではない
    • 要約に使ったプロンプトを共有してもらえるだろうか
      Claude-100kの要約にはかなり満足しているが、より良いプロンプトがあればさらに良くなるかもしれないとも思う

  • 「Claude.aiは米国と英国でしか使えない」という点が、OpenAIとの最大の違いだ
    OpenAIはノルウェーでも使える
    GPT-4に感銘を受けた個人開発者として、より大きなコンテキストウィンドウを持つモデルをぜひ使ってみたいし、Claudeの 100kコンテキストウィンドウ はコーディングの質問に文脈を追加したり、大量のグラフデータを処理してみたりするのに素晴らしそうだ
    ノルウェーで小さな会社を経営しており、使ったリソースの費用はもちろん支払える。連絡先はhmottestad[at]gmail[dot]comだ

    • poe.comを使えばよい
      ノルウェーでも動くようで、有料の Claude 100k オプションがある
      関係者ではなく、無料版しか使ったことはない
    • VPNを使えばいいのでは？

  • Claudeとのやり取りはかなり印象的だった
    フランス語の練習を手伝ってほしいと頼むと、Claudeが使った特定の表現について追加で質問でき、具体的な用法や言語構造の背景まで説明してくれた
    ただ、応答がもっとチャットらしく感じられてほしい
    「Merci!」のような単純な言葉に対しても、基本の返答が段落1つ、5〜6個の箇条書き、さらに段落1つといった感じで、技術的な質問には合っていても 会話練習 ではすぐ退屈になる