メモリ帯域とは、CPU・GPU・AIアクセラレータなどのプロセッサが、メモリとの間で1秒あたりに読み書きできるデータ量のことで、GB/s や TB/s で表します。演算性能（FLOPS）が「どれだけ速く計算できるか」を示すのに対し、メモリ帯域は「計算に必要なデータをどれだけ速く運べるか」を示す指標です。
メモリ帯域とは：決まり方と種類
理論上の最大値は「バス幅 × 1本あたりの転送レート」で決まります。たとえばバス幅256bit、1本あたり16Gbpsなら、256×16÷8＝512GB/sです。
メモリの種類によって帯域の水準は大きく変わります。チップのすぐ横にメモリを積み重ねて非常に広いバス幅をとるHBMはAI向けアクセラレータで、GDDRはグラフィックスカードで、DDRやLPDDRはPCやノートPCで使われます。仕様表に載るのはあくまで理論上のピーク値で、実際に出る値はそれより低くなります。
AIの推論でメモリ帯域が効く理由
大規模言語モデルは、1トークンを生成するたびにモデルの重みをメモリから読み出します。そのため1件ずつ処理するような場面では、演算性能より先にメモリ帯域が上限になりやすくなります。ざっくりした目安は「1秒あたりのトークン数の上限 ≈ メモリ帯域 ÷ 重みのバイト数」です。
Tom's Hardware の報道によると、Intel の「Crescent Island」を採用した GPU「D-Series」は、メモリ帯域が1.5TB/s、FP8でのピーク演算性能が1.3PFLOPSです。これを上の式に当てはめると、FP8で約70GBになる700億パラメータのモデルなら、1件ずつの処理で毎秒およそ21トークンが理論上の上限になります（当サイトによる試算で、KVキャッシュの読み出しなどは含めていません）。
速さとは別に、容量が足りないという問題もあります。Huawei はストレージ製品「OceanStor M900」で、GPU のメモリに収まらない推論データをストレージ側から補う提案をしています（The Register のスポンサー記事。仕様は未確認）。
使い方：エンジニアが確認すること
- **選定**：FLOPS だけでなく、帯域とメモリ容量を合わせて比べる。推論が中心なら帯域を重く見る - **量子化**：重みをFP16からFP8や4bitにすると読み出す量が減り、同じ帯域でも速くなる - **バッチ処理**：一度読み出した重みを複数のリクエストで使い回すと、帯域の制約が緩む - **実測**：STREAM ベンチマークや NVIDIA Nsight Compute などで、理論値に対して実際どれだけ出ているかを確認する
料金：メモリ帯域はいくらか
メモリ帯域だけを買うことはできません。GPU やサーバー、クラウドの GPU インスタンスの性能の一部として、ハードウェアの価格に含まれています。一般に帯域が大きい製品ほど高価なメモリを使います。
The Register は NVIDIA「RTX Spark」搭載ノートPCについて、手元でAIを動かす性能は本格的な一方で価格が高いと報じていますが、具体的な価格や帯域の数値は確認できていません。企画やDXの担当者にとっての判断材料は、社内チャットボットの応答速度や同時に使える人数で、それを決める要素の一つがメモリ帯域です。
誰が作っているか：主要プレイヤーと競合
HBM を作っているのは SK hynix、Samsung、Micron の3社です。それを載せたアクセラレータは NVIDIA、AMD、Intel などが出しており、Intel は D-Series で1.5TB/sという数値を示しています。Huawei はチップ単体ではなく、ストレージでメモリ不足を補う方向から参入しています。競争の軸は「チップあたりの帯域」「メモリ容量」「メモリとストレージを階層として組み合わせる設計」の3つです。各社のシェアや価格差は、この記事の参考情報からは分かりません。
