OpenAI、AIの不正行動を検知する監視体制を強化。暴走前に介入

OpenAIが、AIの不正行動を検知する監視体制を強化した。暴走する前に介入することを狙う。Impress Watchが報じた。

確認できたのは見出しの範囲で、どのモデルやサービスが監視の対象なのか、どのような手法で検知するのかは分からない。「不正行動」が何を指すのか、介入を人が行うのか自動で行うのかも不明である。

AIの安全性は、モデルの公開前に試験を行うことだけでなく、運用中に挙動を見張ることにも広がっている。AIが複数の手順を自律的にこなすようになると、問題のある動きが起きてから止めるのでは遅い場合がある。「暴走前に介入」という表現は、事後の対応より早い段階で手を打つ考え方を示しているとみられる。

実効性を判断するには、何を不正と定義し、どれだけ見逃しや誤検知を抑えられるかを見る必要がある。監視を厳しくするほど正常な動作を止めてしまう恐れもあるため、そのバランスが実務上の論点になる。

エージェント型のAIを業務に組み込む企業にとっても、提供元がどこまで監視し、利用者側に何が残るのかは重要な確認事項である。