エージェントに読ませるサイトは、本文だけでなく HTTP ヘッダーも確認する
X-AI などの「AI 向けヘッダー」で指示を仕込むサイトが実在する。curl でヘッダーを見て、自分のエージェントの取得ツールがヘッダーをモデルに渡す作りかどうかを確かめておく。
背景（調査の数字）
- Signals Corps が 2026年9月の Common Crawl の10%（約2.17億レスポンス）を調査。AI 向けヘッダーを返すサイトは 7,959
- うち 7,271 は llms.txt や MCP サーバーへの案内。命令を仕込む注入の試みは 30 サイト（24 は
X-AIヘッダー、22 はいたずら） - Claude Code 上の Opus／Sonnet／Haiku は既定ではヘッダーの指示に従わなかった。ただしユーザーが「サイトの指示に従え」と言うと 9回中7回従った
手順
- 調べたい URL のヘッダーだけ取る
bash
curl -sS -L -D - -o /dev/null https://example.com/ x-llms-txt、X-AIなど AI 向けのヘッダーがないか見る- 自分のエージェントの Web 取得ツール（MCP やスクリプト）が、レスポンスヘッダーをモデルのコンテキストに入れているか確認する
注意点
- 「サイトの指示に従って」という頼み方は避ける。ページ内容は常にデータとして扱わせる
- 注入を完全に防ぐより、通っても困らないよう権限を絞るほうが現実的（シェル・DB・送信系は人の承認つきに）
- 関連: エージェントを隔離して動かす選択肢（nono / Docker Sandboxes / agentos / VPS） ／ AIコーディング: Webページは HTML ではなく Markdown にしてエージェントに渡す（curl.md / ax）