Futurum CEO、AIエージェントのトークン消費は人の5倍と指摘

調査会社FuturumのCEOが、AIエージェントは人間に比べて5倍の量のAIを利用しており、この倍率はいずれ10倍に達するとの見方を示した。Tom's Hardwareが報じた。

見出しによれば、増加分の多くはキャッシュされたプロンプトによるもので、エージェントはおおむね、すでに一度読んだ内容を読み直しているという。エージェントは作業の手順ごとにモデルを呼び出し、そのたびにこれまでの会話やファイルの内容、ツールの説明といった文脈をまとめて渡す。新しく考える部分よりも、同じ文脈を繰り返し読ませる部分のほうが大きくなりやすい構造だ。

この指摘は、AIの計算需要の見積もりに関わる。エージェントの普及でトークン量は大きく増えるが、その多くがキャッシュで処理できる「読み直し」であるなら、必要になるのは新規の計算能力よりも、キャッシュを保持するメモリや、それを高速に扱う仕組みだという見方につながるとみられる。

5倍という数字の算出方法や、どの範囲の利用を対象にした推計なのかは、見出しからは確認できない。詳細は出典を参照してほしい。