トークンとは、ChatGPTやClaudeのような大規模言語モデル（LLM）が文章を読み書きするときの最小の処理単位です。生成AIの利用料金や一度に扱える文章量の上限は、文字数ではなくこのトークン数で決まります。
なお、暗号資産の「トークン」やログイン認証の「アクセストークン」とは別の概念です。この記事では生成AIのトークンだけを扱います。
トークンとは：AIが文章を区切る単位
LLMは入力された文章をそのままでは扱いません。「トークナイザー」という仕組みで文章を単語、単語の一部、記号などの断片に分け、それぞれを数値に置き換えてから処理します。この断片がトークンです。英語ではおおむね1単語かその一部が1トークンになります。日本語では1文字が1トークンになる場合も、数文字で1トークンになる場合もあります。
区切り方はモデルごとに異なります。同じ文章でも、モデルが変わればトークン数が変わります。文字数からトークン数を正確に換算する共通の式はありません。
使い方：開発者が管理する3つの数字
APIでLLMを呼び出すとき、エンジニアが意識するのは主に次の3つです。
- 入力トークン：プロンプト、添付資料、過去の会話履歴など、モデルに渡す分 - 出力トークン：モデルが生成する回答の分。上限をパラメータで指定できる - コンテキストウィンドウ：1回のやり取りで扱えるトークン数の上限
多くのAPIは、実際に消費したトークン数をレスポンスに含めて返します。これを記録しておけばコストを把握できます。会話を続けると過去のやり取りも毎回入力として送り直すため、入力トークンは回を重ねるごとに増えていきます。
料金：トークン単価×消費量で決まる
生成AIのAPI料金は「100万トークンあたり何ドル」というトークン単価で示されるのが一般的です。入力と出力で単価が分かれており、出力のほうが高い設定が多く見られます。単価はモデルや事業者によって違い、改定も頻繁です。具体的な金額は、導入時に各社の最新の料金表で確認してください。
値下げの一例として、Anthropicは主力モデル「Claude Opus 5.5」のトークン単価を、前のモデルのOpus 5から20%下げました。同社は、多くの業務で上位モデル「Fable 5.1」並みの性能を出しながら、運用コストを約40%下げられるとしています。
企画・DX担当者が予算を見積もるときは、単価だけでは足りません。1件の処理で何トークン使うかも確認する必要があります。同じ作業でも、モデルや作り方によって消費量は大きく変わります。
AIエージェントでトークン消費が増えている
調査会社FuturumのCEOは、AIエージェントは人間の5倍のAIを使っており、将来は10倍に達するとの見方を示しました（Tom's Hardware報道）。報道の見出しによれば、増えているのはキャッシュされたプロンプトです。エージェントは多くの場合、すでに読んだ内容を読み直しているといいます。ただし、算出方法や対象範囲は報道の見出しからは分かりません。
これに関連して、同じ入力を繰り返し送る場合に割安で処理する「プロンプトキャッシュ」を提供している事業者もあります。エージェントを業務に組み込むなら、キャッシュの効き方がコストを左右します。
誰が作っているのか：特定企業の製品ではない
トークンは特定企業の製品ではなく、Anthropic、OpenAI、GoogleなどLLMを提供する各社が共通して使っている計量単位です。そのため「トークンの競合」という比較は成り立ちません。比べる対象は、各社のトークン単価と、同じ仕事をこなすのに必要なトークン数です。
ここからは当サイトの見方です。投資の観点では、トークン消費量はAI需要の大きさを測る指標として、トークン単価は事業者間の価格競争の度合いを測る指標として追う価値があります。
