Anthropic、AIが自らを改良する「RSI」能力に近づいたと警告

Anthropicが、AIが自らを作り、改良していく能力、いわゆる「再帰的自己改善（RSI）」にごく近いところまで来ていると警告した。TechCrunchが報じた。

今回確認できたのは見出しとURLの範囲である。どのモデルについての見解なのか、どのような試験や評価にもとづく判断か、「近い」とはどの程度の段階を指すのか、それを受けて開発や公開の方針をどう変えるのかは、材料からは分からない。

RSIとは、AIが自分の後継となるAIの研究や開発を担い、その改良されたAIがさらに次のAIを改良する、という循環を指す。この循環が回り始めると、人間が開発の速度や方向を管理しにくくなるおそれがあるとして、AIの安全性の分野で重要な節目と位置づけられてきた。

意味合いとしては、開発企業自身がこの節目への接近を公に警告したこと自体が異例とみられる。同社の安全対策の枠組みや、各国の規制の議論にどう反映されるかが今後の焦点になる。