Huawei、AI推論のメモリ不足に「OceanStor M900」で対応へ

The Register に掲載された記事によると、AI の推論はメモリのボトルネックに突き当たっており、Huawei は「OceanStor M900」でこれに対処しようとしている。記事の URL には「sponsored」とあり、編集部の独自取材ではなくスポンサー記事とみられる。

入手できているのは見出しと URL の情報のみで、OceanStor M900 の仕様、対応する AI 基盤、性能の数値は確認できていない。大規模言語モデルの推論では、長い文脈や多数の同時リクエストを扱うほど、途中の計算結果を保持するためのメモリが大量に必要になる。GPU に搭載できるメモリには限りがあるため、その一部を高速なストレージ側に逃がして推論を続ける仕組みを提案しているとみられる。

AI の計算基盤では、GPU の演算性能だけでなく、メモリ容量と帯域が性能を左右する場面が増えている。ストレージベンダーが推論向けの製品を打ち出す動きは、AI インフラの競争がメモリ・ストレージの階層にも広がっていることを示している。