OpenRouter、エージェントの危険操作を別AIで止める「Armor」公開

GIGAZINE によると、OpenRouter は、AI エージェントの危険な操作を別の AI が検出してブロックする「Armor」をリリースした。OpenRouter は、さまざまな提供元の AI モデルを 1 つの API から呼び出せるサービスを運営している。

現時点で入手できているのは見出しのみで、何を「危険な操作」と判定するのか、検出に使う AI モデル、利用者が判定基準を設定できるか、料金や提供形態は確認できていない。

AI エージェントは、ファイルの書き換え、コマンドの実行、外部サービスへの送信といった操作を自律的に行う。便利な反面、指示の取り違えや、読み込んだ文書に仕込まれた悪意ある指示（プロンプトインジェクション）によって、意図しない破壊的な操作をしてしまうリスクがある。

Armor は、作業をするエージェントとは別の AI を監視役に置き、操作を実行前に点検する構成とみられる。人がすべての操作を確認するのは現実的でないため、監視も AI に任せるという考え方である。ただし監視役の AI も誤判定をしうるため、見逃しと過剰なブロックのバランスが実用上の焦点になる。

モデルを仲介する立場の事業者が安全機能を提供することで、利用者はモデルを切り替えても同じ仕組みで守れる利点がある。