これまで本サイトでは、暴走するAIエージェントを止める仕組みとして「人間承認(HITL)」を繰り返し推奨してきました。人間承認ワークフローの設計、キルスイッチ、トリガー汚染対策——いずれも「機械の暴走を人間が止める」ことを前提にした安全装置です。しかし2026年、その前提が静かに崩れつつあります。エージェントが1日に何十・何百という承認要求を上げるようになると、承認ボタンを押す人間そのものが、システム全体で最も脆弱なレイヤーになるからです。
これはMFA疲労攻撃(MFA Fatigue)のエージェント版と言えます。大量・巧妙・タイミングを突いた承認要求で人間に「とりあえずOK」を押させる——この承認疲れ(Approval Fatigue)が、エージェントガバナンスにおける次の攻撃面として指摘され始めています。認証基盤ベンダーのWorkOSも「approval fatigue はエージェントガバナンスの次の攻撃面だ」と明言しています。機械を守る防御を積み上げてきた次は、承認を下す人間を守る番です。
この記事の要点:HITLは「安全装置」ですが、その安全装置を作動させる人間の判断力には限界があります。本記事は、承認フローの作り方ではなく、承認を下す人間の意思決定そのものを攻撃面として捉え、承認バジェット・リスクベース承認昇格・承認要求の来歴検証・二経路確認・承認UIインジェクション対策という多層設計で「人が疲れても破られない承認レイヤー」を作る方法を解説します。
なぜ今、「承認する人間」が最後の標的になるのか
従来のセキュリティ設計は、攻撃者が狙うのは「機構」「権限」「トークン」だと想定してきました。OAuth同意画面を偽装する、権限を混同させる(Confused Deputy)、自律起動のトリガーを汚染する——いずれも技術的なコンポーネントへの攻撃です。ところがエージェント時代には、これらの防御をすべて突破しなくても、最終ゲートに立つ人間に「Approve」を押させれば目的を達成できるという新しい経路が生まれます。
背景には3つの構造変化があります。第一に、エージェントの自律性が高まり、単位時間あたりの承認要求数が人間の処理能力を超え始めたこと。第二に、承認要求の多くが正当なものであるため、人間の中に「どうせ問題ない」というラバースタンプ化(rubber-stamping)の心理が育ちやすいこと。第三に、承認UIに表示される要求内容そのものを、攻撃者が操作できる余地があること(後述の承認UIインジェクション)。この3つが重なると、承認は「安全装置」から「素通しゲート」へと劣化します。
攻撃の分類:承認レイヤーを狙う6つの手口
「承認レイヤーへの攻撃」は一枚岩ではありません。攻撃対象(人間の注意力なのか、UIなのか、要求の文脈なのか)ごとに手口を分解すると、防御の設計軸が見えてきます。
| 手口 | 狙う対象 | 典型的な兆候 | 主な防御軸 |
|---|---|---|---|
| 承認疲れ(Approval Fatigue) | 人間の注意力・判断力 | 短時間に承認要求が集中/承認までの平均時間が急低下 | 承認バジェット・レート制限 |
| MFA疲労のエージェント版 | 通知チャネルの飽和 | 同一操作の承認要求が繰り返し再送される | 重複要求の集約・クールダウン |
| ラバースタンプ化 | 承認者の惰性 | 要求内容を読まずに一括承認する運用が常態化 | リスクベース承認昇格・抜き取り検証 |
| 偽装承認要求 | 要求の出所の信頼 | 正規に見えるが発行元・経路が確認できない要求 | 承認要求の来歴検証(署名・プロヴェナンス) |
| 承認文脈のすり替え | 表示と実行の一致 | 承認時に見せた内容と実際に実行される操作が食い違う | 実行内容ハッシュの固定・What-You-Approve-Is-What-Executes |
| 承認UIインジェクション | 承認画面の表示内容 | 要求の説明文にプロンプト/制御文字が混入し表示を歪める | 承認UIの入力サニタイズ・信頼境界の分離 |
重要なのは、これらが単独ではなく連鎖して使われる点です。まず承認疲れで判断力を削り、そこに偽装承認要求や文脈すり替えを混ぜ込む。人間が「いつものやつ」と思って押した瞬間に、実際には権限昇格や資金移動が通ってしまう——というのが最悪のシナリオです。
兆候:ラバースタンプ化はこう現れる
攻撃の多くは、承認ログの「振る舞い」に現れます。正常な承認と、疲弊・素通し状態の承認を対比すると、監視すべき指標が明確になります。
| 観点 | 健全な承認 | 疲弊・素通しの疑い |
|---|---|---|
| 承認までの所要時間 | 操作のリスクに応じてばらつく | 高リスク操作でも数秒で即決される |
| 承認の時間分布 | 業務時間帯に自然に分散 | 短時間にバースト状に集中 |
| 却下・差し戻し率 | 一定割合で却下・質問が発生 | 却下率がほぼゼロに張り付く |
| 承認内容の閲覧 | 詳細を展開・確認した記録がある | 詳細未展開のまま承認される |
| 要求の再送 | 再送はまれで理由が記録される | 同一操作の要求が繰り返し再送される |
これらは単独では誤検知も多いため、複数指標の組み合わせでスコアリングし、閾値を超えたら後述のリスクベース昇格につなげるのが実務的です。
多層防御:承認を「疲れても破られない」設計にする
ここからが本題です。承認フローの作り方(誰が・どの操作を承認するか)は既存記事で扱ってきました。本記事が扱うのは、その承認を下す人間の意思決定を、疲労・惰性・欺瞞に対して頑健にする設計です。5つの層を組み合わせます。
1. 承認バジェット(単位時間あたりの承認上限)
人間の判断力は有限のリソースです。ならば、1人の承認者が単位時間に処理できる承認数に上限(バジェット)を設けるのが出発点になります。上限に近づいたら、新規の要求は自動的に保留キューへ回し、別の承認者へ振り分けるか、エージェント側の起票レートそのものを絞ります。「大量の要求で押し切る」攻撃は、そもそも大量に要求を通せないという設計で無力化できます。バジェットは操作のリスク重みで消費させる(高リスク操作は多くのバジェットを消費)と、より効きます。
2. リスクベース承認昇格
すべての承認を同じ重さで扱うと、重要な承認が日常の承認に埋もれます。操作のリスクスコアに応じて承認の厳しさを段階的に引き上げるのがリスクベース昇格です。低リスク操作はワンクリック承認、中リスクは理由入力を必須化、高リスク(資金移動・権限付与・本番削除など)は複数人承認や後述の二経路確認を要求する——というように、人間の注意力を本当に必要な場所に集中させます。
3. 承認要求の来歴検証(プロヴェナンス)
偽装承認要求への防御の核心は、「この要求は本当に正規のエージェントが、正規の文脈で発行したのか」を機械的に検証することです。各承認要求に発行元エージェントの署名・実行計画のハッシュ・発生元の文脈(どのタスク・どの入力から派生したか)を添付し、承認UIに至るまでの経路で改ざんされていないことを検証します。来歴が検証できない要求は、そもそも人間に見せない(または明確に「未検証」と赤字表示する)ことで、人間が判断を誤る余地を減らします。
4. 高リスク操作の二経路確認(Two-Channel Confirmation)
承認文脈のすり替え——承認時に見せた内容と実際に実行される操作が食い違う攻撃——には、承認した内容と実行される内容を暗号的に一致させる設計(What-You-Approve-Is-What-Executes)が有効です。加えて、高リスク操作では承認を2つの独立した経路で確認します。たとえばエージェントのUI上での承認に加え、別チャネル(別アプリ・別デバイス)で操作の要約を再提示して確認を取る。片方の経路が汚染されても、もう片方で食い違いに気づけます。
5. 承認UIへの間接インジェクション対策
承認要求の説明文には、エージェントが処理した外部データ(メール本文、Webページ、ドキュメント)が混ざり込むことがあります。ここにプロンプトインジェクションや制御文字を仕込んで、承認画面の表示を歪めるのが承認UIインジェクションです。対策は、承認UIに渡す文字列をデータとして厳格にサニタイズ・エスケープし、外部由来のテキストと承認システム自身のラベルを視覚的・構造的に明確に分離すること。承認画面に表示される「操作の説明」は決して指示として解釈させず、リンクやスクリプト、装飾を無害化して提示します。
設計の勘所:5つの層は独立に効くのではなく、重ねて効きます。バジェットで「量」を抑え、リスクベース昇格で「注意の配分」を最適化し、来歴検証で「出所」を保証し、二経路確認で「表示と実行の一致」を守り、UIサニタイズで「画面そのもの」を守る。どれか1つが破られても、次の層で止まる多層防御(Defense in Depth)にするのが目標です。
導入ステップ:観察 → 警告 → 抑制 → ブロック
いきなり厳格なブロックを入れると、正当な業務まで止まって現場の反発を招きます。段階的な導入を推奨します。
- 観察(計測):まずは何も止めず、承認までの所要時間・却下率・要求のバースト・詳細展開率などを計測し、平時のベースラインを作る。
- 警告(可視化):ベースラインから逸脱した承認(即決・バースト・未展開承認)に警告フラグを立て、承認者と管理者に見せる。まだブロックはしない。
- 抑制(摩擦の追加):高リスク・高スコアの要求に、理由入力・待機時間・二経路確認といった適度な摩擦を追加する。承認バジェットもここで有効化する。
- ブロック(自動遮断):来歴が検証できない要求・文脈すり替えを検知した要求・バジェット超過の要求を自動的に保留またはブロックし、人間のエスカレーション先へ回す。
既存の防御との違い(本サイト内の関連記事との関係)
本記事は既存の防御を置き換えるものではなく、これまで手薄だった「承認者の意思決定」という層を埋めるものです。位置づけを整理します。
| 関連テーマ | 守る対象 | 本記事との違い |
|---|---|---|
| 人間承認ワークフロー設計 | 承認フローの構造(誰が何を承認するか) | 本記事は「フローを回す人間の判断力」そのものを守る |
| キルスイッチ | 緊急停止の機構 | 本記事は「そもそも承認を素通しさせない」入口側の設計 |
| OAuth同意フィッシング | OAuth同意画面の偽装 | 本記事はトークンでなく「承認の意思決定」への欺瞞を扱う |
| Confused Deputy | 権限の混同 | 本記事は権限でなく「承認者の注意力」の消耗を扱う |
| トリガー汚染 | 自律起動の乗っ取り | 本記事は起動でなく「最終ゲートの承認」を守る |
導入チェックリスト
- 承認までの所要時間・却下率・バースト・詳細展開率を計測し、平時のベースラインを持っているか
- 1人あたりの承認バジェット(単位時間の上限)を設定し、超過時の振り分け・抑制ルールがあるか
- 操作のリスクスコアに応じて承認の厳しさを段階化(リスクベース昇格)しているか
- 各承認要求に発行元署名・実行計画ハッシュ・文脈来歴が付与され、検証されているか
- 高リスク操作で「承認した内容=実行される内容」が暗号的に保証されているか
- 高リスク操作に独立した二経路確認を入れているか
- 承認UIに渡す外部由来テキストをサニタイズし、指示として解釈させない構造にしているか
- 異常な承認パターン(即決・素通し・再送集中)をアラートし、エスカレーションできるか
よくある質問(FAQ)
Q. 承認バジェットを設けると、正当な業務まで止まりませんか?
A. リスク重みでバジェットを消費させれば、低リスクの日常業務はほとんど影響を受けません。止まるのは「短時間に高リスク操作が大量に上がる」異常時だけになるよう設計します。まずは観察フェーズでベースラインを取り、現場の実測値に合わせて上限を決めてください。
Q. 二経路確認はすべての承認に必要ですか?
A. いいえ。二経路確認はコストが高いため、資金移動・権限付与・本番データ削除といった不可逆・高リスクの操作に限定するのが現実的です。リスクベース昇格と組み合わせて、必要な場所だけに適用します。
Q. 承認UIインジェクションは、通常のプロンプトインジェクション対策で防げますか?
A. 部分的には重なりますが、承認UIには「人間が読んで判断する」という固有のリスクがあります。エージェントへの注入対策に加えて、承認画面に表示される文字列そのものを無害化し、外部由来のテキストとシステムのラベルを視覚的・構造的に分離する対策が別途必要です。
Q. 承認疲れは技術だけで解決できますか?
A. 完全には難しく、運用と組織設計の併用が前提です。ただし本記事の技術的対策は「そもそも人間に上げる承認の量と質をコントロールする」ため、疲労の根本原因を大きく減らせます。技術で量を絞り、運用で質を担保する二本立てが有効です。
まとめ
HITL(人間承認)は依然として重要な安全装置です。しかしエージェントが承認要求を大量に生み出す時代には、安全装置を作動させる人間の判断力こそが最後の攻撃面になります。承認疲れ・ラバースタンプ化・偽装承認要求・文脈すり替え・承認UIインジェクション——これらに対しては、承認バジェットで量を抑え、リスクベース昇格で注意を配分し、来歴検証で出所を保証し、二経路確認で表示と実行の一致を守り、UIサニタイズで画面を守る、という多層設計が有効です。機械を守る防御の次は、承認を下す人間を、疲れても破られない仕組みで守る番です。
免責:本記事は一般的な設計指針を解説するものであり、特定製品の推奨や、あらゆる攻撃を防ぐことを保証するものではありません。実装にあたっては、自組織のリスク評価・法令・社内規程に基づき、専門家のレビューを受けたうえで導入してください。
参考
- OWASP Top 10 for LLM Applications(大規模言語モデルアプリのリスク分類)— https://genai.owasp.org/
- MITRE ATLAS(AIシステムに対する攻撃手法の知識ベース)— https://atlas.mitre.org/
- NIST AI Risk Management Framework(AIリスク管理フレームワーク)— https://www.nist.gov/itl/ai-risk-management-framework
- WorkOS Blog(approval fatigue をエージェントガバナンスの攻撃面として論じた記事)— https://workos.com/blog

コメント