AWS、SageMaker推論の2026年新機能13件を総括。運用の壁を下げる

AWSが、Amazon SageMaker Inferenceの2026年これまでに投入した13の新機能を総括するブログを公開した。生成AIの推論は独特に難しい。モデルは数十〜数百GBに達し、レイテンシはトークン毎秒で測られ、コンテナと重みの転送でコールドスタートが数分に及ぶこともある。GPU容量は逼迫し、従来の監視ツールでは本番で重要なトークンレベルの信号が見えない。

SageMaker AIは、トークン単位ではなくインスタンス単位でモデルを消費できる2つの経路を用意する。一つはAWSがインフラと運用を担うマネージドendpoint、もう一つはKubernetesネイティブに専用GPUクラスタを制御したいチーム向けのSageMaker HyperPod Inferenceだ。マネージド経路では、ユーザーはモデルと性能目標を定義すれば、GPUの確保・スケーリング・監視をAWSが引き受ける。

主な新機能を見ると、まず「推論レコメンデーション」（2026年4月）は、通常2〜3週間かかる1000通り以上の組み合わせの手動ベンチマークを自動化する。モデルと目標（コスト／レイテンシ／スループット）を指定すると、インスタンス型の絞り込み、目標に応じた最適化（スループット向けのEAGLE 3.0投機的デコード、レイテンシ向けのカーネルチューニング、モデルサイズに応じたテンソル並列）、実GPU上でのNVIDIA AIPerf実行という3ステップを走らせる。出力はTTFTやP50/P90/P99レイテンシ、スループット、コスト予測を含むデプロイ可能な構成で、あるデモではスループット最適化により同じレイテンシで毎秒トークン数が2倍になった。

「容量対応インスタンスプール」（5月）は、最大5つのインスタンス型を優先順位付きで指定でき、容量不足の際に自動でフォールバックする。従来は単一インスタンス型の容量不足でendpointが1リクエストも捌けずに失敗し得たが、この単一障害点を解消する。「OpenAI互換API」（5月）は、/openai/v1パスでChat Completionsとストリーミングをサポートし、移行はendpointのURLを変えるだけ。SDK呼び出しやストリーミング、プロンプト整形はそのまま使え、認証はAWS資格情報から生成する最大12時間有効なベアラートークンで、SigV4署名の複雑さを取り除く。HyperPod側でも簡素化オペレーターや階層型KVキャッシュ、Prefill/Decodeの分離などが追加された。