LangChainのスキル公開、Claude Codeの通過率を25%→95%に引き上げた方法

LangChainが、コーディングエージェントの性能を劇的に向上させる**「スキル(Skills)」**セットを公開。

特にClaude CodeのようなモデルがLangChain/LangGraph/LangSmith関連タスクを実行する際、スキルなしでは約25%しか成功しなかったものが、**スキル導入後は95%**まで上昇し、LangSmith関連タスクも17%→92%へ大幅に改善。

公開されたスキルの種類

• LangChainスキル11種: エージェントの基本ループ、LangGraphのHuman-in-the-Loop、Deep Agentsなど
• LangSmithスキル3種: トレーシング、データセット構築、エージェント評価
  → LangSmith CLIもあわせて公開（ターミナルでトレース閲覧・データセット管理・実験実行が可能）

評価結果と教訓

• スキル使用時のClaude Code完了率は82%、未使用時は9%
• スキル呼び出し精度: 多すぎると（20個）誤作動が増加 → 12個程度に減らすと精度向上
• AGENTS.mdやCLAUDE.mdに「いつどのスキルを使うか」を明確に案内する必要があり、それによって効果を最大化できる

今後の展望

• LangSmithスキルを活用すると、エージェントが自分の実行ログを分析 → 問題を要約 → テストデータセット+評価者を自動生成するという自己改善ループを回せるようになる。
• 今後は「エージェントがエージェントを改善する」ターミナルベースのサイクルが主流になる可能性が示されている。