AIエージェントの統制された自律性:考えるのはモデル、実行するのは仕組み
規制下の電力会社は、AIエージェントに本番障害の診断を任せつつ、単独での実行は一切させていません。その背後にあるコントロールプレーンの設計と、病院や企業システムへの応用方法をご紹介します。
朝6時40分、ある病棟。検査結果を病棟システムに届ける連携が遅くなっています。検査システムは静かに再試行を繰り返し、キューは伸び続けています。どの信号も単独では基準を超えないため、アラームは鳴りません。40分後、医師たちは最新の血液検査結果がないまま朝の回診を始めることになります。
AIエージェントなら、このパターンを数秒で見つけられます。連携を再起動することもできます。本当に考えるべきなのは、それを許してよいのか、そして誰が決めるのか、という点です。
InfoQに掲載されたPurnang Borah氏の記事Governed Autonomous Intelligence for Mission-Critical Utilityは、この問いに対するもっとも明快な答えの一つを示しています。舞台は規制下にある電力会社のAI運用基盤です。誤った操作ひとつで料金の支払いが止まったり、電力供給に関わるシステムに影響したりする環境です。この考え方は、医療、金融、B2Bプラットフォームにもほぼそのまま応用できます。本記事では、その仕組みと、エネルギー業界の外でどのように応用できるかをご紹介します。
一段落でまとめると
基盤を考える側と実行する側に分け、その間に壁を設けます。AIエージェントは完全に考える側にいます。信号を関連付け、ランブックを読み、業務への影響を見積もり、対処を提案します。提案はすべて、人が書き、バージョン管理し、レビューしたルールブックを通り、さらに本番環境への唯一の経路であるゲートウェイを通ります。モデルは何を提案しても構いません。しかし実行できるのはルールが許したものだけで、ルールが求める場面では必ず人の承認が入ります。そのうえで自律性は、操作の種類ごとに根拠に基づいて一つずつ解放され、同じくらい簡単に取り消せます。
モデルは何でも提案できる。しかし実行できるのは、ポリシーゲートが許可したものだけ。権限がモデルの中に置かれることはない。
問題は賢さではなく、権限
運用におけるAIの議論の多くは、モデルが十分に賢いかどうかに集中しています。しかし、間違いの代償が大きいシステムでは、それは的外れな問いです。
記事はこう区別しています。「誤った要約は不便で済む。誤った本番操作は、顧客向けのサービスに影響しうる」。電力会社なら料金請求や規制当局への報告、病院なら回診中の投薬システムや検査結果システムの停止です。こうした操作を単独で任せられるほど、常に正しいモデルはありません。そして「モデルが自信を持っていた」という説明は、監査人には通用しません。
そこでこの電力会社は、モデルを信頼できるものにしようとはしませんでした。モデルの信頼性が問題になりにくい仕組みを作ったのです。
四つの部品と、一つの入口
この考え方は、ネットワークやクラウド基盤のコントロールプレーンから借りたものです。一つの層が何をすべきかを決め、別の層がそれを実行します。
| 部品 | 役割 | 本番環境を変更できるか |
|---|---|---|
| エージェント(推論プレーン) | 信号の関連付け、ランブックと障害履歴の検索、影響の見積もり、操作の提案 | 決してできない |
| アクションカタログ | 許可された操作、そのリスク区分、承認ルールをまとめたバージョン管理された一覧 | できない(設定にすぎない) |
| ポリシーゲート | 提案が許可されるか、どの承認が必要かを決定論的に判断するコード | できない(判断のみ) |
| ツールゲートウェイ | すべてを再確認し、範囲を絞った認証情報を借りて操作を実行し、結果を記録する | できる(ここだけ) |
ゲートウェイが境界として意味を持つのは、迂回する手段がない場合だけです。この電力会社の設計では、エージェントの実行環境に本番の認証情報を一切置かず、IDポリシーは既定で拒否、ネットワーク経路は厳しく制限し、認証情報はそれを必要とする一つのツールにだけ渡します。記事はこれを*「本番環境への入口は一つ。すべての統制をその入口に付ける」*と表現しています。
誤った原因分析は、誤った操作ではなく、誤った提案になる
これが、この設計がもたらすもっとも重要な効果です。従来の「自律型」の設計では、ハルシネーションによる誤った原因分析が、そのまま本番環境への誤った変更になります。ポリシーゲートの後ろでは、それは誤った提案にとどまります。ゲートが却下するか、人がレビューするか、ゲートウェイが許可を拒否します。
モデルの誤りが無意味になるわけではありません。ただ、その代償の上限が、今月のモデルの出来ではなく、システムの作りによって決まるようになります。
一つの賢いエージェントより、役割を絞った複数のエージェント
この電力会社は、何にでもアクセスできる大きなエージェントを一つ使うのではなく、オーケストレーターと役割を絞った少数のエージェントを使っています。
- オーケストレーター:イベントを受け取り、必要な分析を判断し、結果をまとめます。「調整はするが、実行はしない」。
- アプリケーション信頼性・プラットフォーム分析エージェント:障害、遅延、依存関係の振る舞いを、既知のパターンや過去の履歴と比較します。
- 業務影響エージェント:技術的な状態を、請求への影響、報告期限、信頼性の約束といった業務上の結果に置き換えます。
- 修復エージェント:本番操作を提案できる唯一のエージェントです。ただし、あくまで提案です。
小さなエージェントは、テストも制約も説明もしやすくなります。さらに、見落とされがちですが同じくらい大切な点が二つあります。
ナレッジの衛生管理。 検索は、古いランブックでも平然と返します。そのため、すべてのランブックに担当者と最終レビュー日を付け、検索結果と一緒に返します。レビュー期限を過ぎたランブックは担当者に通知され、運用担当者が「ランブックが間違っている」と提案を却下した場合、その却下は担当者に戻されます。
基本的な事実はモデルではなくコードが決める。 どのシステムがアラートを出したのか、二つのIDが同じサービスを指すのか、どの業務サービスがそれに依存しているのかは、通常のパーサーとサービスカタログで確定させます。モデルは見慣れないログの解釈を手伝いますが、基本的な事実を決めることはありません。冒頭の病棟の例に置き換えると、正規化されたイベントは次のようになります。
{
"event_id": "evt-ward-0640",
"timestamp": "2026-11-18T06:40:12Z",
"source": "interface-monitor",
"service": "lab-results-interface",
"environment": "prod",
"event_type": "latency_degradation",
"technical_severity": "warning",
"dependency_ids": ["lab-system", "results-queue"],
"business_service": {
"name": "Ward results for morning round",
"criticality": "high",
"mapping_source": "service-catalog"
}
}
mapping_sourceに注目してください。この連携の臨床上の重要度は、推測ではなく、カタログから引いたものです。
流れを追う:弱い信号から、確認済みの復旧まで
電力会社の例を、冒頭の病院の場面に置き換えて順に追います。
- 三つの弱い信号が届きます(連携の遅延、再試行の増加、キューの伸び)。元の証拠を残したまま正規化されます。
- オーケストレーターが、三つが同じ依存関係の連鎖にあると判断し、プラットフォームとアプリケーションのエージェントに分析を振り分けます。業務影響エージェントは、その連鎖を朝の回診と結び付けます。
- 検索によって、この障害に対応する最新のランブックと、もっとも近い過去の障害が取り出されます。
- エージェントは要約ではなく仮説を作ります。 考えられる障害の型、その根拠、影響が及ぶ範囲、文書化された対処の選択肢です。根拠が弱い、あるいは矛盾している場合は、ならさずにそのまま示します。
- ランブックが許可する手順は二つです。 追加の診断は低リスクなので自動で実行されます。連携の再起動は人の承認が必要な操作にマッピングされており、修復エージェントが自信を持っていても、その区分を下げることはできません。
- 当番のエンジニアが承認します。 ゲートウェイは実行の瞬間に承認の記録とポリシーを再確認し、そのサービスだけを再起動できるIDを使い、応答を記録します。
- 成功かどうかは、患者に近い側で判断します。 遅延、再試行、キューが実際に回復したかを確認し、回復していなければエスカレーションします。
「APIが200を返した」ことと、「システムが正常である」ことは同じではない。
リスクはプロンプトではなく、設定に置く
カタログの各操作はリスク区分に属し、その区分は人が事前に決めます。モデルが自分の提案の区分を決めることはありません。
| リスク区分 | 電力会社での例 | 病院のITなら | ルール |
|---|---|---|---|
| 低 | 読み取りのみの診断、ヘルスチェック、追加の計測 | 連携キューやログの確認、テストメッセージの送信 | 自動実行してよい(すべて記録) |
| 中 | 承認済みのステートレスなサービスの再起動、上限内のスケーリング | 検査結果連携の再起動、止まった印刷キューの解消 | ポリシーに従って承認 |
| 高 | 設定変更、フェイルオーバー、機微なデータの操作 | 電子カルテのフェイルオーバー、アクセス権の変更 | 明示的な承認。ポリシーが求める場合は2名で |
カタログの各項目は、LLMなしでテストできるほど具体的です。ツール、環境、許可された範囲、リスク区分、承認の種類、タイムアウト、実行前後に満たすべき条件、ロールバック手順へのリンク。エージェントは対象のサービス名などのパラメーターを指定できますが、それが許可された範囲に収まるかどうかはポリシーが判断します。
予測は助言であって、許可ではない
この基盤は予測も行います。過去に障害の前兆となった弱い信号の組み合わせを探し、何が、いつ、どのように壊れそうか、確信度はどれくらいか、業務への影響は何かを示します。大切な設計判断は、予測に何をさせないかです。
確信度のスコアは、許可証ではない。
予測は、実際に起きた障害とまったく同じ統制された経路に入ります。記事は、誤検知は起きるものだと率直に認め、予測を過大に宣伝することが運用担当者の信頼を失うもっとも早い道だと述べています。これは運用の現場でよく見られる失敗パターンです。空振りの呼び出しが続くと、チームはやがてアラートを読まなくなります。
自律性のはしご
ここが記事のもっとも実践的な部分です。自律性は段階的に、操作の区分ごとに一つずつ広げられました。モデルが自信ありげだったという理由で上がった区分は一つもありません。各段階に進むには、具体的な根拠に基づき、システムオーナーと変更管理のレビュアーの合意が必要でした。
| 段階 | 操作の区分 | 実行方法 | 次へ進むために必要な根拠 |
|---|---|---|---|
| 1 | すべての操作 | 読み取りのみ:観察、関連付け、予測、提案 | 運用担当者が提案を安定して受け入れ、却下の理由がレビューされ対処されている |
| 2 | 診断とヘルスチェック | 承認制から自動へ | 範囲外で実行された診断がなく、証跡の記録が完全である |
| 3 | ステートレスな再起動などの元に戻せる変更 | 承認制として導入 | 実行後の確認で回復が確かめられ、ロールバックがテスト済みである |
| 4 | 選ばれた影響の小さい元に戻せる変更 | 決められた範囲と時間帯の中で、承認制から自動へ | 修正なしで安定して承認され、回復が確認され、ロールバックが機能し、ポリシー違反や範囲外の要求がない |
| 5 | 設定変更やフェイルオーバーなどの高リスクな変更 | 常に明示的な承認 | 自動化の対象にはならない |
注目すべき点は二つあります。一つ目は、各段階の根拠がモデルのベンチマークではなく、受け入れ率、完全な監査記録、テスト済みのロールバックといった運用上の事実であることです。二つ目は、段階5が最初から決められた恒久的な上限であることです。後から生じる議論の一つの種類を、まるごと取り除いています。
そして各段階はカタログ項目のmodeにすぎないので、自律性の取り消しは再デプロイではなく設定変更で済みます。 自動の再起動が一度でもおかしな動きをすれば、その区分だけを数分で承認制に戻し、他はそのまま動き続けます。これは自動化における並行稼働や、AIの出力に対する送らずに、下書きまでと同じ考え方です。単独で動かす前に、見える形で信頼を積み上げることです。
コードで見る:ゲートは、あえて退屈に
ポリシーゲートは、システムの中でもっとも面白みのないコードであるべきです。モデルの呼び出しは近くにもありません。TypeScriptで書くと、中核は次のとおりです。
type Mode = "auto" | "approval" | "dual-approval" | "disabled";
type CatalogEntry = {
actionId: string; // 例: "restart-service"
environment: "prod" | "staging";
allowedTargets: string[];
risk: "low" | "medium" | "high"; // 人が設定する。モデルは決めない
mode: Mode; // ここを変えて自律性を付与・取り消す
approvalTtlMinutes: number;
};
type Proposal = { actionId: string; environment: string; target: string; reason: string };
type Approval = { approvers: string[]; approvedAt: Date };
type Decision =
| { outcome: "execute"; entry: CatalogEntry }
| { outcome: "needs-approval"; approvers: number }
| { outcome: "deny"; why: string };
export function decide(catalog: CatalogEntry[], p: Proposal, approval?: Approval, now = new Date()): Decision {
const entry = catalog.find((e) => e.actionId === p.actionId && e.environment === p.environment);
if (!entry) return { outcome: "deny", why: "カタログにない操作" }; // 既定は拒否
if (entry.mode === "disabled") return { outcome: "deny", why: "この操作は停止中" };
if (!entry.allowedTargets.includes(p.target)) return { outcome: "deny", why: "対象が範囲外" };
if (entry.mode === "auto") return { outcome: "execute", entry };
const needed = entry.mode === "dual-approval" ? 2 : 1;
const fresh = approval && (now.getTime() - approval.approvedAt.getTime()) / 60_000 <= entry.approvalTtlMinutes;
const enough = approval && new Set(approval.approvers).size >= needed;
return fresh && enough ? { outcome: "execute", entry } : { outcome: "needs-approval", approvers: needed };
}
ゲートウェイに任せている処理は、対象一つに限った短期間の認証情報の発行、ツールのスキーマによる引数の検証、ツールの呼び出し、実行後のヘルスチェック、監査記録の書き込みです。これらをすべて自作する必要はありません。この電力会社のリファレンス実装はAmazon Bedrock AgentCoreを使っています。そのPolicy機能はルールをCedarにコンパイルし、エージェントのコードではなくゲートウェイで適用します。ツールの記述にはModel Context Protocolを使います。記事は、他のクラウドで同じ役割を担う入口として、Azure API ManagementとGoogleのAgent Gatewayを挙げています。
記事は、注意点も慎重に付け加えています。型付きのツールと厳格なゲートは、操られたエージェントにできることを制限しますが、操られること自体は防げません。プロンプトインジェクションには、エージェントが取り込むものをすべて信頼できないデータとして扱うことから、ゲートウェイでの内容チェックまで、別の層の対策が必要です。OWASP Top 10 for LLM Applicationsが、プロンプトインジェクションと「過剰な権限(Excessive Agency)」を別々のリスクとして挙げているのには理由があります。
コンプライアンスの看板ではなく、証跡を
すべての操作が一つの入口を通るので、この基盤はどの変更についても一連の経緯を再構成できます。きっかけとなった信号、検索された根拠、提案、適用されたポリシー、人の判断、実行された操作、使われたID、確認された結果です。
記事は、それで何が達成でき、何が達成できないのかを正確に書いています。この電力会社は、対象となる電力系統のシステムについて、変更管理、アクセス管理、保護情報、インシデント対応に関するNERC CIPの基準に証跡を対応付けています。しかし電力会社が運用するすべてのシステムがCIPの対象ではなく、*「基盤そのものがコンプライアンスを生み出すわけではない」*のです。原則は、システムごとに、それを規律する制度に証跡を対応付けることです。
病院であれば、同じ記録を医療安全、個人情報保護、変更管理の義務に、システムごとに対応付けることになります。院内全体を「AI統制済み」と宣言するのではありません。記事にはもう一つ、医療でこそ重要になる指摘があります。エージェントが取り込むデータを最小限にすることです。ログやチケットには、遅い連携を診断するのに不要な個人情報や健康情報が大量に含まれています。検索の対象に入る前に、分類し、取り除いておきましょう。
エージェント自体も本番のソフトウェアです。プロンプトとエージェント定義のバージョン管理、変更のレビュー、リリース前の過去障害による評価、そしてロールバックできることが求められます。
電力会社の外へ
| 領域 | エージェントがすること | 自動で実行してよいこと | 常に人が必要なこと |
|---|---|---|---|
| 病院のIT・臨床データ連携 | 連携・キュー・データ取り込みの問題をランブックと照らし合わせる | 診断、テストメッセージ、ヘルスチェック | 臨床系連携の再起動、電子カルテのフェイルオーバー |
| データ保持とコンプライアンスの処理 | マスキング処理の準備、範囲の確認、証跡の作成 | ドライランとレポート | 本番データへのマスキングの実行 |
| 企業・B2Bプラットフォーム | チケットの振り分け、失敗している連携の発見、修正案の作成 | 読み取りのみの確認、上限内のスケーリング | 設定変更、顧客データや請求に関わる操作すべて |
エージェントに本番環境を任せる前に確認したいこと
エージェント型の運用ツールを評価するときも、自分たちで作るときも、次の質問を確認すれば弱点の多くがすぐに見えてきます。
- 本番の認証情報はどこにあるか。 「エージェントが持っている」という答えなら、そこで止まってください。
- 操作のリスク区分を決めるのは誰か。 モデルではなく、人がレビューするバージョン管理されたカタログであるべきです。
- 本番環境への経路は本当に一つか。 ゲートウェイを通らずに対象システムを呼び出せるものはないか。
- 承認は実行の瞬間に再確認されるか。 それとも、上流で承認されたという主張をゲートウェイが信じているだけか。
- 成功をどう測っているか。 「コマンドが実行された」は答えになりません。「サービスが回復した」が答えです。
- 操作の区分をはしごの上に進める根拠は何か。 そして誰が承認するのか。
- 一つの操作の自律性を、何も再デプロイせずにどれだけ早く取り消せるか。
記事は、この考え方全体をもっともよく表す一文で締めくくられています。
目指すのは最大限の自律性ではなく、安全に統制でき、取り消すこともできる、根拠に基づいた自律性である。
医療や金融をはじめ、間違いが現実の誰かを傷つけるシステムでは、それこそが作る価値のある唯一の自律性です。
参考資料
- Governed Autonomous Intelligence for Mission-Critical Utility(Purnang Borah、InfoQ)
- Policy in Amazon Bedrock AgentCore: core concepts(AWS)
- Model Context Protocol(Anthropic ほか)
- OWASP Top 10 for LLM Applications 2025(OWASP)
- CIP-010-4: Configuration Change Management(NERC)
- AI Risk Management Framework(NIST)
- ISO/IEC 42001:2023, AI management systems(ISO)
関連ケーススタディ
細かな知的作業のための、20のタスク特化型AIエージェント基盤
