AI エージェントのメモリーから秘密を消すときは「要約」も作り直す（AfterDeleteBench の結果）
秘密を含む会話記録を消しても、それを元に作られた永続メモリーの要約が残っていると、約 3 分の 2 の事例で秘密を聞き出せたとオハイオ州立大学のプレプリントが報告した。削除は「元の記録を消したか」ではなく、メモリー機構全体から出てこなくなったかで確かめる。
実験でわかったこと
- 秘密を見せてから元の記録だけを消し、要約を残した構成では、1 回の質問で 64〜68 ポイント多く秘密が復元された（一度も見せていない条件では 200 件中 0 件）。要約を作らず個々の記録だけを持つ構成では復元は見られなかった。
- 秘密を 3 つの部品に分けて別々の記録に入れても、組み立て規則を与えると 3 モデルで 62〜99％ が正しく再構成された。部品を 1 つ欠くと完全な復元はゼロだが、残った部品は応答に出ていた。完全復元ゼロは漏えいゼロではない。
- 書き込み時のフィルター（消した秘密と完全一致する文字列を再保存しない）は再書き込みを防いだが、質問時の復元は防げなかった。
- 有効だったのは「消した記録を元にした要約を由来から特定し、破棄または作り直す」措置で、試した条件では復元ゼロ。ただし由来がすべて記録されている理想的な前提。
- 採点形式がずれると、応答本文に秘密が含まれていても失敗扱いになる例があった（104 件中 77〜78 件）。検証では応答の本文そのものを見る。
実務での対策
- メモリーに秘密を入れない。 API キーやパスワードを会話に貼らない運用が最優先（シークレット管理と AI エージェントガイド）。
- 要約・派生データの由来を記録する。 どの元記録から作った要約かを保存しておき、元記録を消したら派生した要約・埋め込み・キャッシュも破棄して作り直せるようにする。
- 削除後に聞き出しテストをする。 消した値を直接尋ねる質問、部分を尋ねる質問を新しい会話で投げ、応答本文に出ないかを確認する。
- 漏れた秘密は削除より交換。 メモリーから消せたかどうかに関係なく、実際の鍵やパスワードは失効・再発行する。
注意点
対象は合成した文字列と統制したメモリー構成で、実運用のメモリー製品の安全・危険を判断する根拠にはならないと研究チーム自身が述べている。コードは採択後に公開予定。