テック技報最新号へ →
AIコーディング

スキルが正しく呼ばれているかを実セッションのログで監査する(skill-auditor)

スキルが増えると「呼ばれるべき時に呼ばれない」「別のスキルが呼ばれる」が起きるが、気づきにくい。@gyakuse の skill-auditor は過去のセッションログからスキルの呼び出しを判定し、スキル同士の競合と description の直し方を HTML レポートにする。

@gyakuse · 投稿 2026-03-05
#skills#claude-code#評価#ルーティング

どんな時に使う?

  • スキルが10個を超え、似た説明のスキルが並んでいる
  • 作ったスキルが思ったほど使われていない、または関係ない場面で起動している

手順

  1. /skill-auditor で実行する(作者の例では472セッションで約15分)
  2. 判定の種類: correct(正しく呼んだ)/false_negative(呼ぶべきなのに呼ばない)/false_positive(不要なのに呼んだ)/confused(別のスキルを呼んだ)/no_skill_needed/explicit_invocation(ユーザーが明示的に呼んだ)/coverage_gap(該当するスキルがない)
  3. スキル同士の関係を Competition Matrix で見る: orthogonal(無関係)/adjacent(隣接)/overlapping(重なる)/nested(片方が片方に含まれる)。overlapping と nested が誤呼び出しの温床
  4. Attention Budget: トークン数より「指示の密度」が問題になる。description が短すぎる(10トークン程度)スキルは精度0.2まで落ちた例があり、「ANY topic」のような広すぎる書き方も誤呼び出しを招く
  5. 提案された description の修正は、隣のスキルへの影響(cascade)も確かめてからまとめて直す
  6. 2件以上起きたものだけを傾向として扱い、1件だけの誤りでは直さない

注意点

出典

X の元の投稿を開く