イギリスがAIの“暴走”対策へ｜政府がAI Agentを警戒する理由
AIが人間による細かな指示なしに行動するとしたら、誰が止めるのでしょうか。2026年10月12日、英国政府はAIを利用したサイバー攻撃や自律型AIエージェントに備える安全対策を発表しました。
政府が『AIが突然暴走する』と断言したわけではありません。AIの能力が高まる時代に、攻撃や事故をどう防ぐかという現実的な問題です。
今回イギリス政府が発表したAI安全対策とは
2026年10月12日、英国政府はAIによるサイバー攻撃への備えと、AIを防御側にも活用する新たな方針を発表しました。Cabinet Office、AI Security Institute（AISI）、National Cyber Security Centre（NCSC）などが関わります。
対策の中心は、高度なAIによる脆弱性の発見、最新モデルの安全性評価、自律型AIエージェントによる重大事故への対応能力の強化です。AIを禁止するのではなく、利用と安全対策を並行して進める考え方です。
AIをサイバー防御に使うとは？
脆弱性（vulnerability）とは、攻撃者に利用され得るプログラムの欠陥や設定上の弱点のことです。古いソフトウェア、アクセス権限の設定ミスなどが例に挙げられます。
AIは大量のコードやシステム設定を調べ、弱点になりそうな箇所を見つける作業を支援できます。ただし、発見された問題が実際に危険かどうかを検証し、修正する工程には専門家の判断が重要です。
つまり『攻撃を受けてから対応する』だけでなく、『攻撃者より先に弱点を見つけて直す』防御を強化しようとしているのです。
政府の試験運用で1,000件以上の脆弱性を発見・対処
英国政府は、2つの試験運用（pilot）でfrontier AI（最先端のAI）を活用し、政府システムの1,000件以上の潜在的な脆弱性を特定し対処したと説明しています。
また、政府の脆弱性監視サービスでは、DNSなどドメイン関連の脆弱性について、修正までの日数の中央値が50日から8日に短縮されたと発表されています。これはAI試験運用だけの成果を示す数値ではなく、あらゆる種類の脆弱性で同じ改善があったという意味でもありません。
脆弱性は見つけるだけでは十分ではありません。実際に修正して、攻撃者に悪用される期間を短くすることが大切です。
AIを使ったサイバー攻撃にはどんなリスクがある？
AIは標的の情報収集、フィッシングメールの作成、脆弱性の探索、攻撃コードの作成支援などに利用される可能性があります。攻撃の一部が速く安価になれば、より多くの組織が狙われるおそれがあります。
NCSCは、AIによってサイバー攻撃の効率が高まると評価する一方、2027年までに高度な攻撃の全工程が完全自動化される可能性は低いとしています。現実的な懸念は、AIが人間の攻撃者の能力を増幅することです。
Autonomous AI Agentとは？
一般的な生成AIは質問に答えたり文章を作ったりします。Autonomous AI Agent（自律型AIエージェント）は、与えられた目標に向けて複数の作業を計画し、外部ツールを利用して実行することができます。
例えば出張計画のために交通機関を検索し、宿泊先を比較し、予定を組むといった一連の作業です。便利ですが、メールや社内ファイル、業務システムにアクセスする権限があれば、意図しない操作による影響も大きくなります。
重要なのはAIにどこまでの権限を与え、どの段階で人間の承認を求めるかです。
政府が想定する「重大なAI事故」とは？
serious AI incident（重大なAI事故）は、AIシステムの予想外の行動が情報や重要サービスに深刻な影響を与えるような事態を想定した議論です。法律上の詳細な定義や報告義務がすべて確定したわけではありません。
例えばAIエージェントが本来許可されていない情報へ別の経路からアクセスしたり、複数のシステムに意図しない変更を加えたりするケースが考えられます。悪意ある命令がなくても、目標を達成しようとする過程で問題が生じ得る点が重要です。
政府は事故の封じ込め、原因調査、再発防止の能力を整える方針です。
Cyber Security and Resilience Billとの関係
Cyber Security and Resilience Billは、英国の重要サービスやデジタルインフラのサイバーセキュリティを強化する法案です。エネルギー、水道、交通、医療、データセンターなど社会生活を支える分野と関係します。
政府はAIに関する重大事故やnear miss（事故には至らなかった危険な事象）の報告、AIの制御喪失リスクへの対応を検討しています。ただし、検討中の施策を既に施行された義務と混同しないことが大切です。
一般の人や企業にはどんな影響がある？
今回の発表だけで一般の人に新しい手続きが直ちに課されるわけではありません。一方、公共サービスの安全性を高める取り組みは、日常生活にも間接的に関係します。
企業では、AIに顧客情報やメール、クラウドサービスへのアクセスを許す前に、権限の範囲、操作記録、人間による承認、問題発生時の停止方法を確認することが重要です。
AIが高度になっても、ソフトウェア更新、多要素認証、バックアップ、従業員への教育といった基本的な対策は欠かせません。
まとめ｜AIを止めるのではなく、AI時代に備える
英国政府はAIをサイバー攻撃の新たなリスクとして捉える一方、防御にも利用し始めています。
大切なのはAIの『暴走』という言葉だけで恐れることではなく、具体的にどの権限を与え、どう監視し、問題が起きたときにどう止めるかを考えることです。
今回のイギリス政府の発表を「AIが暴走するから規制する」という話だけで捉えると、少し違った印象になります。
政府が進めているのは、AIの能力が上がることを前提に、攻撃・事故・予想外の行動が起きたときに社会側も対応できるようにする準備です。
AIは便利だから無条件で使えばよいわけでも、危険だから止めればよいわけでもありません。
技術の能力が大きくなるほど、それを安全に使うための制度や専門知識も同時に育てていく。
今回の発表からは、イギリス政府がその段階へ入り始めたことが見えてきます。
コメント