3万体のAIを、誰が監督するのか——10億decisionから考える「AI組織」の設計

によって書かれた

on

カテゴリー:

タグ:

LIGHTHOUSE JOURNAL

3万体のAIを、誰が監督するのか——10億decisionから考える「AI組織」の設計

Anthropicで同時稼働する約3万体のAIエージェントと10億件超のdecision。その監視構造から、AIを監督するAI、Human Gate、そしてEdge AI・IoTに必要になるガバナンス設計を考えます。

Technology / Edge Device / Field Data

Anthropicが2026年9月に公開した内部指標には、AIの性能競争とは少し違う、重要な変化が表れています。

2026年8月時点で、ClaudeはAnthropicのAI研究開発業務の26%で「AIが主導する」水準に到達しました。人間との協働以上まで含めると90%以上です。一方で、人間を完全に外した自律レベルはまだ0%です。

この数字だけでもAI開発の加速を感じます。しかし、LIGHTHOUSEとしてさらに注目したいのは、その裏側で動いている「監督の仕組み」です。

Anthropicの主要な内部基盤では、研究・エンジニアリング用AIエージェントが同時に約3万体稼働しています。2026年8月だけで、そのエージェント群が行った10億件を超えるdecision(判断)が監視対象になりました。

ここまで規模が大きくなると、問いは「AIに仕事をさせられるか」から変わります。

3万体のAIを、誰が監督するのか。

そしてこの問題は、AI研究所だけの話ではありません。将来、農業、設備監視、製造、物流、エネルギー、見守りなどで多数の自律エージェントやEdge AIが動くようになれば、同じ設計問題が現場側にも降りてきます。

10億件を人間が見ることはできない

Anthropicの内部監視は、単純に「AIの仕事を最後に人間が確認する」という構造ではありません。

同社の説明では、対象となるエージェントの行動は100%オンライン監視を通り、危険と判定された操作は実行前に止める、または進路を修正します。2026年8月に分析した10億件超のdecisionのうち、ブロックされたのは約0.002%、およそ4万7千回に1回でした。

また、実行後にはoffline monitorが全活動を取り込みます。そこから毎週およそ10万件のtranscriptがflagされ、複数のclassifierによる追加判定を経て、最優先で人間へ上がるものは約50件/週まで絞り込まれます。

つまり実際の構造は、おおよそ次のようになります。

AIエージェント
↓
オンライン監視
↓
オフライン監視
↓
複数classifier
↓
優先度判定
↓
Human Review

ここで重要なのは、「人間がAIを監視する」のではなく、人間が監視できる量までAI自身が監視対象を圧縮していることです。

AIの台数が増えれば、人間のレビュー人数を同じ比率で増やすことはできません。したがって、大規模なAgent運用では「実行能力」よりも「監督能力」がボトルネックになっていきます。

次に必要なのは「AIを監督するAI」

この構造を見ると、AI開発の次の競争領域が見えてきます。

これまでは、

  • コードを書くAI
  • 調査するAI
  • 分析するAI
  • 計画するAI

が注目されてきました。

しかし、大量のAIが本番環境で動くなら、それだけでは足りません。

  • AIの成果物を検証するReview Agent
  • 権限逸脱や異常挙動を検知するMonitor Agent
  • 複数Agentの動きを横断して見るOversight Agent
  • 人間へ上げるべき案件を選ぶEscalation Agent

が必要になります。

特に重要なのは、Anthropicが「個々のagentに害を起こさせない仕組み」だけでなく、多数のagentを横断して初めて見える問題を検出するoversight regimeの必要性まで明記していることです。

一体ずつ見ると正常でも、集団として動いた結果、想定外の挙動が生まれる可能性があるからです。

「危険か安全か」だけでは足りなくなる

ここからは公開情報を踏まえた私たちの考察です。

大規模Agent監視が難しいのは、「危険か安全か」の二択で終わらないからです。

例えば、

  • 技術的には許可された操作だが、本来の目的から逸脱していないか
  • 一件だけなら問題ないが、数万体が同じ行動をすると問題にならないか
  • 複数の価値や目的が衝突した場合、何を優先するか
  • 監視AI自身の判断に十分な確信があるか
  • AIだけで決定せず、人間に戻すべき案件ではないか

といった判断が必要になります。

つまり、監視AIにも「判断の難しさを判断する能力」が必要になります。

これは従来のセキュリティ監視とは少し違います。

ルール違反を検出するだけでなく、人間の判断が必要な境界を見つけることが重要になります。

なぜ哲学・倫理・価値観の研究が工学に入ってくるのか

Anthropicは2026年5月、哲学者、倫理学者、宗教研究者、聖職者などを含む15以上の宗教・文化的伝統との対話を進めていることを公表しました。

同社は、安全なAIを作ることをalignment、interpretability、safeguardsといった技術問題だけで完結するものとは捉えていません。「どのような性格や価値判断をAIに持たせるのか」というmoral formationの問題まで研究対象にしています。

ここには注意が必要です。

Anthropicが「監視Agentを作るために哲学者や倫理学者を集めている」と公表しているわけではありません。その因果関係を断定することはできません。

しかし、

3万体のagent、
10億件を超えるdecision、
自動monitor、
複数classifier、
人間へ上がる約50件/週、
そして価値・人格・倫理判断に関する研究。

これらを同時に見ると、一つの方向性が見えてきます。

将来的に必要になるのは、単なる「危険検知AI」ではなく、人間であればどう扱うかを一次審査し、人間に委ねるべき案件を選び出す監督AIではないか、ということです。

AI企業は「AIを使う会社」から「AI組織」になる

今後、Agentの数が3万体から10万体、100万体へ増えていけば、人間が一体ずつ管理する組織構造は成立しません。

その場合、組織自体が階層化されると考えるのが自然です。

1. 実行Agent

コードを書く、調査する、分析する、機器を操作する。

2. Review Agent

成果物や判断の整合性を確認する。

3. Monitor Agent

権限逸脱、不正、異常挙動を監視する。

4. Judgment Agent

単純なルールでは処理できない案件を評価する。

5. Human Gate

重大な価値判断、法的判断、安全判断、不確実性の高い案件を人間が決定する。

これは「人間の会社にAIを追加する」というイメージとは違います。

AIで構成された組織の上位レイヤーに、人間が位置する。

そのような構造に近づいていきます。

Agent同士が、人間より多く会話する世界

Anthropicは2026年8月に、emerging multiagent systemsについての研究を公開しています。

そこでは、共有コードベース、市場、社会システムなどにAgentが参加するようになり、agent-agent interactionが急増すると予想しています。

さらに、agent同士のinteraction量が、human-humanやhuman-agentのinteractionを上回る可能性まで指摘しています。

これは安全設計を大きく変えます。

従来は、一つのAIが危険な動きをしないかを評価すればよかった。

しかし、多数のAgentが協調・競争・委任を始めると、「個体として正常か」だけでは足りません。

人間社会と同じように、

  • 情報の増幅
  • 集団的な誤判断
  • 責任の分散
  • 相互依存による連鎖障害
  • 一部の小さな異常が全体へ波及する現象

が起こる可能性があります。

したがって、Agent SafetyからMulti-Agent Governanceへ設計対象を広げる必要があります。

これはEdge AI・IoTにもそのまま来る

LIGHTHOUSEがこのテーマに注目する理由はここです。

現在のEdge/IoTでは、多くの場合、

センサー
↓
Edge Device
↓
クラウド
↓
人間

という比較的単純な構造です。

しかしEdge AIが普及すると、

センサー
↓
現場Agent
↓
判断Agent
↓
設備制御
↓
複数拠点の統合Agent
↓
監視Agent
↓
人間

へ変わっていく可能性があります。

例えば農業なら、

土壌水分Agentが潅水を提案する。
気象Agentが翌日の降雨を予測する。
病害Agentが画像から異常を検出する。
電力Agentがポンプ稼働コストを見る。
生育Agentが作物の状態を評価する。

それぞれが独立して正しい判断をしていても、全体として矛盾することがあります。

水分不足だから潅水したい。
しかし数時間後には大雨が来る。
電力ピークなのでポンプを止めたい。
一方で高温障害を避けるためには散水したい。

このとき必要なのは単一の「賢いAI」ではありません。

複数Agentの判断を統合し、衝突を発見し、必要な場合だけ人間へ判断を戻す仕組みです。

Edgeにはクラウドとは違う制約もある

現場システムでは、さらに難しい条件があります。

通信が切れる。
電源が不安定になる。
センサーが故障する。
物理機器が動く。
判断を取り消せない場合がある。

クラウド上で誤った文章を生成するのと、ポンプやモーターを誤作動させるのでは、リスクの性質が違います。

そのためEdge Agentでは、少なくとも次の考え方が重要になると見ています。

  • Identity:どのAgentが何を決めたのか追跡できる
  • Least Privilege:必要以上の権限を与えない
  • Audit Log:判断・入力・結果を後から確認できる
  • Deterministic Guardrail:AI判断より上位に物理的・論理的な禁止条件を置く
  • Escalation:不確実な案件は人間へ戻す
  • Fail Safe:通信断やAgent停止時には安全側へ倒す
  • Local Autonomy:クラウド切断時にも必要最低限の制御を継続する

興味深いのは、これらが従来の産業制御や安全工学で使われてきた考え方とかなり重なることです。

AI時代になって突然すべてが新しくなるわけではありません。

むしろ、これまで制御システム、設備監視、ネットワーク、セキュリティで積み上げてきた設計思想が、Agent時代に再び重要になります。

「AIを導入する」より「AIを管理できる仕組みを作る」

これから企業がAIを導入するとき、評価項目はモデルの精度だけでは足りなくなるでしょう。

重要になるのは、

  • 何体のAgentが動いているか
  • どのAgentがどの権限を持つか
  • Agent同士が何を通信したか
  • どの判断が自動承認されたか
  • 何件がblockされたか
  • 何件がHuman Gateへ上がったか
  • 判断までのlatencyはどれくらいか
  • 人間が監督可能な量に保たれているか

といった運用指標です。

Anthropicが今回公開したcoverage、review latency、escalation rateという考え方は、AI研究所だけでなく、将来の産業用Agentシステムにも応用できる可能性があります。

10億件を50件まで絞る技術

今回のAnthropicの発表では、「AI主導26%」が目立ちます。

しかしLIGHTHOUSEとして特に注目したいのは、

10億件を超えるdecisionを監視し、人間が見るべき案件を極端に絞り込む仕組み

です。

AI時代のボトルネックは、AIが仕事をできるかどうかから、人間がAIを管理できるかどうかへ移り始めています。

AIが増えるほど、人間を同じ比率で増やすことはできません。

だから、

AIを作るAI。
AIをレビューするAI。
AIを監視するAI。
AI同士の挙動を監視するAI。
人間へ上げる案件を判断するAI。

という階層が必要になります。

そして最上位にHuman Gateを残す。

この構造は、大規模AI研究所だけの特殊な設計ではなく、今後Edge AIが現場へ入るにつれて、製造、農業、物流、インフラ、見守りなどのシステムにも必要になってくると考えています。

LIGHTHOUSEが考える次のEdgeシステム

LIGHTHOUSEでは、Edge Deviceを単に「センサーの値をクラウドへ送る箱」とは考えていません。

現場のデータを取り込み、現場で判断し、必要な情報だけを上位へ送り、通信がなくても最低限の機能を維持する。

そして将来的には、複数のEdge Agentが動くときに、

誰が判断したのか。
誰が監視したのか。
何を自動化し、何を人間へ戻したのか。

まで説明できることが重要になると考えています。

AIの能力向上は続くでしょう。

しかし、実際の現場で重要になるのは「一番賢いAIを入れること」だけではありません。

多数のAIを、安全に、説明可能な形で、現場の制約の中で動かすこと。

Anthropicの3万体のAgentと10億decisionは、その未来が思っていたより早く来ていることを示す一つの材料だと思います。


参考資料

  • Anthropic, “Measurements for understanding the pace of AI development inside frontier labs”
    https://www.anthropic.com/institute/measuring-pace-of-ai-development
  • Anthropic, “Patterns and problems in emerging multiagent systems”
    https://www.anthropic.com/research/multiagent-systems
  • Anthropic, “Widening the conversation on frontier AI”
    https://www.anthropic.com/news/widening-conversation-ai
  • Anthropic, “Trustworthy agents in practice”
    https://www.anthropic.com/research/trustworthy-agents