NVIDIA、AIエージェントの「暴走」を防ぐオープンソース基盤を公開

NVIDIAが、AIエージェントの「暴走」を防ぐためのオープンソースの基盤を発表した。Impress Watchが報じた。

AIエージェントは、与えられた目標に向けて自ら計画を立て、検索やコードの実行、外部サービスの操作などを組み合わせて作業を進める。人が一つひとつ指示しなくてよい反面、想定外の操作をしたり、権限の範囲を超えた行動を取ったり、誤った情報をもとに処理を続けたりするリスクがある。業務で使うには、こうした動作を検知し、止める仕組みが欠かせない。

NVIDIAの今回の基盤は、エージェントの入出力や行動に制約をかけ、危険な操作や方針に反する振る舞いを抑えるためのものとみられる。オープンソースとして公開することで、企業や開発者が自社のエージェントに組み込み、用途に合わせて調整できるようにする狙いがあると考えられる。

基盤の名称や、どのような種類の「暴走」をどう検知・防止するのか、対応するモデルやフレームワーク、ライセンスの種類は、見出しからは確認できない。詳細は出典を参照してほしい。