アクセンチュア調査、3社に1社がAIのトークン予算を超過と判明

アクセンチュアの調査によると、3社に1社が生成AIの利用で想定していたトークン予算を超えている。ITmedia エンタープライズが伝えた。

トークンは、大規模言語モデルが文章を処理する際の単位で、クラウドで提供される多くのAIサービスはこのトークン量に応じて課金される。AIエージェントのように、モデルが何度も推論を繰り返したり長い文脈を読み込んだりする使い方が広がると、利用量が見積もりを上回りやすくなるとみられる。

見出しは、こうしたコスト増を最大44%抑える方法があるとしている。一般的には、用途に応じたモデルの使い分けや、プロンプト・文脈の削減、キャッシュの活用などが考えられるが、アクセンチュアが具体的に何を挙げたのか、調査対象の企業数や地域は見出しからは分からない。詳細は出典を確認してほしい。