「Claude Code が最近バカになった？」は Marginlab の性能トラッカーで確かめる
Marginlab の Claude Code Performance Tracker は、最新の Claude Code CLI と最新モデルで SWE-Bench-Pro の一部を毎日50問解かせ、合格率と95%信頼区間を出している。体感の「劣化」が統計的に意味のある差かどうかを、自分で検証する前に見られる。
見方
- 日次（50問）・7日（350問）・30日（1,200問）の合格率が出る。日次はぶれが大きく、50問だと ±12.8% 以上の差でないと有意にならない。判断は7日・30日の値で
- Claude Code CLI そのもので動かしているので、モデルの変化だけでなくハーネス（Claude Code 本体）の変化による劣化も拾える
- 過去には Opus 4.7 の時期に、Claude Code 2.1.150〜2.1.152 で1週間ほど有意な低下を検出し、2.1.153 で戻ったと報告している
- 劣化を検出したときのメール通知もある（投稿より）
使い方
- 「最近おかしい」と感じたら、まずトラッカーの7日・30日の推移を見る
- 差が出ていれば、その期間の Claude Code のバージョンを CHANGELOG と照らし、必要なら一つ前のバージョンに固定して比べる
- 差が出ていなければ、自分の側（CLAUDE.md の肥大、MCP の増加、コンパクトの多発）を疑う
注意点
- 2026-09-24 から Opus 5.5（high）の新しい基準値を集めていて、劣化の判定は止まっている（2026-09-29 更新の表示）。判定が再開したかはページで確かめる
- SWE-Bench-Pro の一部での結果。自分のコードベースや言語での性能と同じとは限らない
- 第三者の独立したサービスで、Anthropic とは関係がない
出典
- @AI_masaou · 2026-02-04
- Marginlab のトラッカー: marginlab.ai
- Marginlab ブログ（劣化の検出例）: marginlab.ai