NVIDIA、Vera Rubin と DSX を公開。1MW当たりのトークン数で競う

NVIDIA のハイパースケール／HPC 担当バイスプレジデント Ian Buck 氏が、サンタクララで開かれた AI Infra Summit で AI ファクトリーの電力効率について講演した。同イベントの参加者は前年の3,500人から8,000人超へ増えており、インフラ側の関心の高まりがそのまま人数に出ている。

同社の主張は明快で、AI インフラの評価指標はピーク性能から「検証済みのエージェントトークン数／メガワット」へ移りつつある、というものだ。電力が制約条件になった以上、シリコンから送電網までを一体で設計するしかない。その実装が、Vera Rubin システム、推論ソフトウェア Dynamo、NeMo ライブラリ、スケールアップ用の NVLink、数千ノードを束ねる Spectrum-X Ethernet と ConnectX SuperNIC、BlueField によるコンテキストメモリストレージとインフラセキュリティを並べたフルスタック構成になる。

数字が出ているのは電力最適化ソフト DSX MaxLPS だ。GPU とラックの消費電力を常時監視し、必要な場所へ電力を動的に振り替えて、静的な割り当てで遊んでいた分を回収する。Blackwell サーバー上での初の検証では、通常16ノードをフル電力で動かす電力枠に19ノードを収容し、クラスタ全体のトークン処理量を約24%（毎秒およそ400万から500万トークンへ）、電力あたり性能を23%引き上げた。次世代の Vera Rubin NVL72 では、条件の整った環境なら同じメガワット枠で最大40%多い GPU を載せられるとする。サイト全体で見れば、新たな送電線なしでトークン処理量を最大35%伸ばせるという主張だ。ラック内では Intelligent Power Smoothing と拡張したエネルギーバッファが短時間のスパイクを吸収し、持続需要に近い水準まで攻めて動かせるようにする。

もう一つが DSX Flex で、こちらは系統側との協調だ。電力系統からの負荷抑制要請、デマンドレスポンス、価格シグナルを受け取り、あらかじめ決めたワークロードの優先順位に従って自動で応答する。重要なジョブは走らせ続け、優先度の低いものを一時停止して後で再開する。実証では数百回の需要シグナルに対して AI ワークロードの性能を保ったまま自動で負荷を下げられた。データセンターを系統の柔軟性リソースとして扱えれば、増設のための系統容量を引き出す交渉材料になる。

推論側では、Vera Rubin に決定的な超低遅延推論を足す Groq 3 LPX との組み合わせが示され、2兆パラメータ超・長コンテキストのモデルで GB200 NVL72 を上回る1メガワット当たり性能を主張した。100Kコンテキストの Qwen 3.8 27B では、Groq 3 LPX がユーザーあたり毎秒2,529トークンを出力している。エージェントが推論とツール呼び出しを連鎖させるほど遅延とコンテキスト長が積み上がるため、この余裕がそのまま「1回の応答予算で何ステップ踏めるか」に効く。