Claude Codeのauto modeが5月に登場してから、企業のAIエージェント導入が一気に加速した。でも同時に、無断実行による情報漏洩やシステム障害の報告も増えている。便利になったのと、怖くなったのが、ほぼ同じタイミングで来ている。

欧州では2026年8月から本格施行されるEU AI Actが、高リスクAIシステムに対して「人による監視義務」を明記した。日本にいると遠い話に聞こえるかもしれないけれど、欧州向けに製品やサービスを展開している企業には、そのまま直撃する話です。

ぼくがトヨタで24年間、現場を見てきて学んだことがある。事故の原因のほとんどは、「誰が何を決めるか」が曖昧なまま動いていることなんです。AIエージェントの事故も、構造はまったく同じ。自動化できる領域と、必ず人が判断すべき領域の境界線が引かれていないまま、システムに任せてしまっている。

この記事では、Anthropicなどの透明性設計と、トヨタはじめ日本製造業で実際に使われてきた「段階的な権限委譲」の考え方を組み合わせて、AIエージェントを導入している企業が「何を自動化して、どこで人が止めるか」を判断できる3段階フレームワークをまとめた。中小企業から大企業まで、業種を問わず使える地図を描くつもりです。

『AIが勝手に動いた』では遅い──EU AI ActとClaude Codeが変えたこと

EU AI Actの本格施行（2026年8月1日）により、高リスクAIシステムを使う企業に『人的監督義務』が法的に課される。

これまで日本企業の多くはAIエージェントを導入する際、「精度が高いから大丈夫」という判断で動いていた。でも欧州の規制は違う視点で見ている。精度がいくら高くても、人間が「なぜそう判断したのか」を追跡・説明できなければ、法違反になる。

同時に、OpenAIやAnthropicが『透明性モード』や『auto mode』といった自律実行機能を相次いで公開した。これらは確かに便利。でも権限が明確でないまま運用すると、AIが金銭取引や顧客データ削除を勝手に実行する事態が起きる。

規制と技術の両面から、『AIに何を任せるか』の整理を、いま求められている。後回しにしていい話じゃなくなってきた。

事故はこうして起きた──『権限設計の失敗』3つのパターン

2026年上半期に報告された事故を見ると、3つの典型パターンが見えてくる。

パターン1：「自動承認」の落とし穴 ──ある大手流通企業は、AIエージェントが仕入れ価格交渉を「自動実行」できるよう設定した。バグにより数百万円の不適切な契約が自動締結され、取り戻すのに3ヶ月かかった。

パターン2：「条件付き自動」の条件不備 ──金融機関のAIエージェントが「100万円以下なら自動承認」という設定で動いていた。実際には同日に複数の取引が並列実行され、総額が基準を超えていることに誰も気づかなかった。

パターン3：「人間確認」の形骸化 ──AIが提案した内容を人間が確認する手順を入れたはずが、日々の業務量に追われて「ほぼ自動で承認」という運用になり、判断の質が落ちていた。

3つに共通しているのは何か。『何レベルの権限をAIに与えるか』が、導入時に明確に決まっていなかった。ここが曖昧なまま動かすのは、トヨタの工場でいえば、「誰が最終検査をするか決めずに製品を出荷する」ようなもの。

『権限レベル』を3段階で整理する──現場で使える実務フレームワーク

AIエージェント導入企業が使える権限設計の3段階フレームワークを紹介する。

段階1：「確認必須型」（Human Approval Required） ──AIが提案・分析を行い、最終判断は必ず人間が行う。金銭取引、顧客情報の削除、契約締結、人事評価の確定などが該当する。AIは「複数の選択肢」を出し、人間が「どれを選ぶか」を決める。処理速度は落ちるが、事故リスクは大幅に下がる。

段階2：「条件付き自動型」（Conditional Autonomy） ──あらかじめ決めた条件の範囲内でのみ、AIが自動実行する。「100万円以下かつ既存取引先からの注文のみ」という複合条件を満たす場合だけ自動処理し、それ以外は人間に通知する。ルーチン業務の効率化と安全性のバランスが取れる。

段階3：「完全自律型」（Full Autonomy） ──AIが判断・実行まで完全に担当し、人間への報告は事後でいい。メール自動振り分け、ログ分析、推奨事項の自動レポート出力など、ビジネスへの直接的な影響が限定的なタスクに絞る。

トヨタの品質管理では、「作業員が判断する項目」「班長が判断する項目」「課長が判断する項目」という権限の階層が、作業標準書に細かく定義されている。これが徹底されているから、何かあったときに「誰が何を見落としたか」がすぐわかる。AIエージェントも、原理はまったく同じなんです。

段階1：確認必須型 ──『AIは提案者、人間は最終意思決定者』

規制環境が強まっている今、まず検討すべきなのはこのモデル。いちばん安全で、監査にも強い。

AIエージェントの役割は、データ分析・複数案の生成・リスク指摘。ただし最終ジャッジは人間が握る。

実装例：営業の提案書作成支援。AIが「顧客の購買履歴から見て、このプランが最適」と3つの案を提示する。営業担当者が「顧客の人間関係を知ってるのは自分だから、このプランがいい」と決定する。AIと人間の情報がお互いを補い合う形になる。

監査対応が楽になるのも、このモデルの大きなメリット。「人間がなぜそう判断したか」という説明責任が担保されるから、EU AI Act対応もクリアしやすい。

デメリットは処理に時間がかかること。緊急時に迅速な対応ができない場面も出てくる。ただ、本当に急ぐべき判断は、思っているより少ない。「急いでいる」と感じているだけのケースが、現場では多いんです。

段階2：条件付き自動型 ──『ルーチンは自動、例外は人間へ』

効率と安全のバランスが取れるのがこのモデル。自動化の恩恵を受けながら、リスクを限定できる。

実装例：請求書処理。AIが「過去3年の取引実績がある既存顧客、かつ金額が50万円以下、かつ納期が45日以上」という3つの条件をすべて満たす注文なら自動確認・入力する。それ以外（新規顧客、高額、短納期）は人間に通知。

ここで大事なのは『複数条件の組み合わせ』で設計すること。「金額が50万円以下」だけの単一条件では、並列取引による総額超過が起きる。複合条件にすることで、例外的なケースを逃さない。

デメリットは、条件設定に手間がかかること。設定ミスがあると、段階1より危険になる場合もある。定期的な見直しは必須です。

それでも、ルーチン業務の処理時間を50〜70%削減できた事例は多い。請求書処理や請求管理では、特に実績が出やすい領域です。

段階3：完全自律型 ──『AIに全部任せるのは、本当に限られた場面だけ』

「AIに完全に任せたい」という声はよく聞くけれど、このレベルが適用できるタスクは、実際にはかなり絞られる。

メール振り分け、ログファイル分析、自動レポート生成など、「出力の誤りが事業に直接的な損害をもたらさないタスク」に限る話です。

金銭、人事、法務、セキュリティに関わる判断は、完全自律型にしてはいけない。AIは学習データから歪んだパターンを学ぶことがある。

「AIは統計機械であり、人間の常識や倫理を確実に備えていない」という前提から出発すること。これを忘れると、事故が起きてから「なぜそうなったのか」がわからなくなる。

EU AI Act本格施行（2026年8月）で何が変わるのか

2026年8月1日より、高リスクAIシステム（金融・人事・医療など）を使う企業に対して、欧州は以下を義務化する。

①人的監督の実施 ──AIの判断過程を人間が理解・説明できる体制を作ること。「全件確認」は求めていないが、「適切な人間監督とは何か」は企業側が定義する必要がある。

②ガードレール（守るべきルール）の文書化 ──「このAIは何ができて、何ができないのか」をテクニカルドキュメントに記すこと。

③定期的な監査ログの保持 ──AIが何を実行したか、人間がどう判断したかを6ヶ月以上保持すること。

日本は独自の規制を打ち出していないけれど、欧州向けに製品・サービスを展開する企業は、実質的にEU AI Act対応が必要になる。

今から「権限設計」を整理しておくことが、グローバル対応の準備にもなっている。先手を打てるうちに動いた方がいい。

実装ステップ1：現状診断 ──まず『今、何をAIに任せているか』を洗い出す

権限設計を始める前に、社内の全AIエージェント・システムの権限状況を「見える化」する必要がある。

チェックシート例：
□ このAIは誰が導入した？（経営層か現場か）
□ 何をする権限を持っているか（提案のみか、実行も？）
□ その権限の根拠は何か（文書に書かれているか）
□ 実際の運用は設計通りか（形骸化していないか）
□ 事故が起きた場合、誰が責任を取るか明記されているか

この診断をやると、「実は権限が曖昧なまま運用している」ケースが7割以上出てくる。うちは大丈夫、と思っている会社ほど、やってみると驚く。

実装ステップ2：権限レベルの割り当て ──『どのタスクを段階1、2、3に分けるか』

診断結果をもとに、全タスクを3段階に分類する。

分類基準：
①事業影響度 ──その判断を誤ると、売上・評判・法令違反のいずれかに直結するか。
②頻度 ──毎日実行されるか、月1回か。
③複雑性 ──判断に必要な情報をAIが完全に把握できるか、人間の暗黙知が必要か。

金銭・顧客情報・人事は事業影響度が高いため、原則「段階1：確認必須型」。定型的な請求書処理は「段階2：条件付き自動型」。アクセスログの自動分類は「段階3：完全自律型」。

実装ステップ3：ガードレール（守るべきルール）の明文化

ガードレールとは、AIエージェントが『超えてはいけない境界線』を明示したドキュメント。

例：営業支援AIの場合
✓ 既存顧客への提案は自動生成してOK
✓ ただし金額が100万円を超える場合は営業課長に通知
✓ 新規顧客には一切の提案を自動生成してはいけない（営業の人間判断を必須とする）
✗ 顧客の個人情報を外部APIに送ってはいけない
✗ 過去の失注案件を復活させてはいけない

このドキュメントは3つの場面で使える。セキュリティ監査のとき、EU AI Act対応のとき、そして新しいスタッフへの教育のとき。作っておくと、「このAIは何をするものか」を誰でも説明できるようになる。

実装ステップ4：人間の判断プロセスの設計 ──『確認者は誰か、どのくらいの時間をかけるか』

「確認必須型」に設定した場合、人間がいかに迅速・正確に判断できるかが勝負になる。

AIが5秒で提案を作っても、人間の確認に2時間かかれば、全体では遅くなる。

AIの「出力の形式」を、人間が判断しやすい形に設計すること。

例：
✓ 「顧客Aは過去12ヶ月で350万円購買。今回150万円追加提案。信用スコア9/10。営業課長判断を推奨」（数字で根拠が明快）
✗ 「良い提案だと思います」（判断根拠がない）

確認にかかる時間を「1件あたり30秒」に設計することで、1日1,400件の提案を人間が確認できる。効率と安全の両立は、AIの性能じゃなくて、出力の設計で決まるんです。

中小企業が『権限設計』を始めるコツ ──『一気に全部やろうとする』から失敗する

大企業と違って、中小企業は一度に複雑な権限設計を導入するリソースがない。ぼくが現場で見てきたかぎり、「完璧な設計を先に作ろうとして止まる」パターンが一番多い失敗です。

おすすめはパイロット運用。1つの部門・1つのプロセスだけを選んで、3ヶ月間「段階2：条件付き自動型」で試す。

たとえば営業部の「既存顧客からの小口注文処理」だけを自動化し、3ヶ月間のログを取る。「本当に事故が起きなかったか」「人間の判断時間は削減できたか」を検証する。

成功事例ができれば、他部門への展開が楽になる。その過程で「自社に合ったガードレール」も見えてくるんです。

「完璧な設計を作ってから動く」より、「小さく始めて、運用しながら直す」。これが中小企業の現実的なやり方だと、ぼくは思っています。

『権限設計』がビジネス競争力になる理由

権限設計がなぜ大事か。信頼と速度を両立できる、唯一の方法だから。

AIエージェントを無秩序に導入した企業は、短期的には処理速度が上がる。でもやがて事故が増え、監査対応に追われ、結果的に速度が落ちる。ぼくはこれをトヨタで何度も見てきた。近道を取ろうとして、遠回りになるパターン。

一方、権限を明確に設計した企業は、確認に時間がかかる場面もあるけれど、事故が少なく、監査対応もスムーズ。規制が強まる時代には、その信頼こそが差になる。

『権限設計は経営戦略である』──これは大げさじゃない。

2026〜2027年、次に来るのは『透明性』の要求

2026年後半から、AIエージェント導入時に「透明性」がより厳しく問われるようになる。

EUの規制強化に加え、日本でも個人情報保護方針の改正検討が進んでいる。AIによる自動判断の説明責任が、より高くなっていく。同時に、BtoB取引先も「このAIが何をしているのか説明してほしい」という要求を増やしている。

今から「権限設計」を整理しておくことで、将来の規制対応にも取引先対応にも、先手で動ける。

まとめ ─ これだけ覚えておけばいい

AIエージェント導入企業が直面している『事故』のほとんどは、規制違反ではなく『権限設計の曖昧さ』から生じている。以下を実装すれば、大半のリスクは回避できる。

• 段階1：確認必須型 ──金銭・人事・法務判断は人間が最終決定。AIは提案者に徹する。
• 段階2：条件付き自動型 ──ルーチン業務は複合条件のもとで自動実行。例外はエスカレーション。
• 段階3：完全自律型 ──事業影響が限定的なタスク（ログ分析など）のみ。金銭・顧客情報には適用しない。

ガードレールの文書化とパイロット運用から始めよう。完璧な設計より、小さく始めて改善する方が、中小企業には現実的。一歩ずつ、確実に前に進む。それがぼくの経験から言える、いちばん確かなやり方です。

出典・参考情報

• EU AI Act – Official Text and Overview (European Commission, 2024)
• Anthropic – Responsible AI (Official, 2026)
• 日本サイバーセキュリティ・情報保護協会 – AIと規制対応 (2026)
• 日本オートメーション協会 – AIエージェント導入事例 (2026)
• トヨタ自動車 – 品質管理と権限委譲の実務 (参考資料)