エージェントスキルの「確認なしで使わせるツール」欄は制限ではない(6,309 件の調査から)
スキルの SKILL.md 冒頭の設定欄(フロントマター)にある「利用者の確認なしで使わせるツール」の項目は、書かれたツールの確認を省くだけで、書かれていないツールの使用は禁じていない。スキルが何をできるかは、付属スクリプトを含めた中身全体で判断する。
調査でわかったこと
- Metano-Labs や米パデュー大学などの研究者が、スキル配布サイト ClawHub と skillsmp から人気が中程度のスキル 6,309 件を分析したプレプリント。主眼は悪意の有無ではなく「スキルがエージェントに実行させ得る操作の範囲」。
- AI モデルの推定では約 7 割が影響の大きい操作が可能で、約半数がシェルコマンドを実行でき、13% が認証情報にアクセス可能。サンドボックスで実際にシェル実行が記録されたのは 518 件(1 回の実行では一部の処理しか通らないため下限扱い)。
- 設定欄を解析できた 6,061 件のうち、確認省略の欄にツールを書いていたのは 770 件(12.7%)。この欄には認証情報や環境変数へのアクセスは書けない仕様で、書いた内容をスキル全体と照合する仕組みもない。
- 記載があった 770 件のうち 457 件(59%)は、スキル全体から推定した操作の一部が記載から漏れていた。逆に不要なツールまで書いていたものが 304 件(39%)。
- 研究者のスキャナーが悪意あり・不審と判定したのは 338 件(5.4%)。ただしスキャナーは著者の所属企業のもので、第三者評価はない。
スキルを入れる前に見ること
- 設定欄を「権限の宣言」と読まない: 確認省略の欄に
Readしか書いていなくても、本文やスクリプトがシェル実行を指示していれば実行されうる。 - 付属ファイルを全部読む:
scripts/などの同梱スクリプト、本文中のコマンド例、外部 URL を確認する。外部ドメインの点検は AI スキルに書かれた外部ドメイン・URL を「依存」として点検する(OpenAI render-deploy 事例) を参照。 - 確認省略の欄が広すぎないか見る: 不要なツールまで確認なしにしているスキルは、そのぶん人の目を通らずに動く。必要最小限まで削るか、入れない。
- 認証情報に触れるかを別に確かめる: 環境変数や鍵ファイルへのアクセスは設定欄に表れないので、本文とスクリプトで
env、~/.ssh、.env、トークン名などを検索する。 - 実行はサンドボックスで試す: 初回は隔離環境で動かし、プロセス・ツール呼び出し・外部通信を観察する(論文の 2 段目と同じ考え方)。
注意点
- 数値は人気中程度のスキルを中心にした標本内の値で、マーケットプレイス全体の割合ではない。「実行できる」ことを示すもので、悪意や実害を示すものではないと論文自身が留保している。
- 関連: AI エージェント向け RE スキル集を入れる前に確認する(reverse-skill)