スキルが正しく呼ばれているかを実セッションのログで監査する(skill-auditor)
スキルが増えると「呼ばれるべき時に呼ばれない」「別のスキルが呼ばれる」が起きるが、気づきにくい。@gyakuse の skill-auditor は過去のセッションログからスキルの呼び出しを判定し、スキル同士の競合と description の直し方を HTML レポートにする。
どんな時に使う?
- スキルが10個を超え、似た説明のスキルが並んでいる
- 作ったスキルが思ったほど使われていない、または関係ない場面で起動している
手順
/skill-auditorで実行する(作者の例では472セッションで約15分)- 判定の種類: correct(正しく呼んだ)/false_negative(呼ぶべきなのに呼ばない)/false_positive(不要なのに呼んだ)/confused(別のスキルを呼んだ)/no_skill_needed/explicit_invocation(ユーザーが明示的に呼んだ)/coverage_gap(該当するスキルがない)
- スキル同士の関係を Competition Matrix で見る: orthogonal(無関係)/adjacent(隣接)/overlapping(重なる)/nested(片方が片方に含まれる)。overlapping と nested が誤呼び出しの温床
- Attention Budget: トークン数より「指示の密度」が問題になる。description が短すぎる(10トークン程度)スキルは精度0.2まで落ちた例があり、「ANY topic」のような広すぎる書き方も誤呼び出しを招く
- 提案された description の修正は、隣のスキルへの影響(cascade)も確かめてからまとめて直す
- 2件以上起きたものだけを傾向として扱い、1件だけの誤りでは直さない
注意点
- 作りの工夫: プロジェクトごとのスキル構成でバッチに分ける(最大12バッチ)、決定的な処理はスクリプト、判断だけサブエージェントに任せる。
disable-model-invocationのスキルは自動で呼ばれないので対象外 - スキルを作る側の skill-creator と役割が分かれている
- description の書き方は スキルの名前は動名詞形で揃え、description は短い英語で「何を・いつ」、改善を回す仕組みは 会話履歴からスキルの改善点を Issue 化し、Routines で毎日直させる
出典
- X の投稿より: @gyakuse · 2026-03-05
- 記事: nyosegawa.github.io