NeMo RL は、NVIDIA がオープンソースで公開している「強化学習によるポストトレーニング」のためのライブラリです。すでにある大規模言語モデルに対して、GRPO や DPO といった手法で望ましい応答を強化する学習を、GPU 1 枚の試行から数千 GPU の本番学習まで同じコードで回せるようにしたものです。
NeMo RL とは何か
NVIDIA の NeMo フレームワーク群の一部で、GitHub 上で Apache 2.0 ライセンスで公開されています。扱うのは事前学習（ゼロからモデルを作る工程）ではなく、その後のポストトレーニングです。
強化学習の学習ループは、実装が重くなりがちな領域です。モデルに応答を生成させ（ロールアウト）、報酬を計算し、勾配を流す——この 3 つを別々のエンジンで動かしつつ、重みを同期し続ける必要があります。NeMo RL はこの配線をあらかじめ済ませた状態で提供する、というのが中身です。
何ができるのか
SFT（教師ありファインチューニング）、DPO、GRPO といった手法に対応します。力点が置かれているのは、検証可能な報酬（verifiable reward）を使う学習です。数学の答え合わせ、コードを実際に実行して通るか確かめる、ツール呼び出しの結果を見る——こうした「環境」とのやり取りを挟むマルチターンのロールアウトを記述できます。
内部では役割ごとにエンジンを分けています。応答生成は vLLM、学習側は PyTorch の DTensor か Megatron-Core、複数ノードへの分散は Ray が担当します。Megatron-Core を選べる点が小回りの利く軽量ライブラリとの主な違いで、大きいモデルを並列化して学習させる場面で効いてきます。
使い方
GitHub からリポジトリを取得し、依存関係を解決してから、同梱の設定ファイル（YAML）を編集して実行する、という流れです。学習アルゴリズム、モデル、データセット、GPU 数は設定ファイル側で切り替えます。Hugging Face 上の公開モデルをそのまま読み込めるため、小さいモデルで挙動を確かめてから、同じ設定のままノード数を増やす進め方ができます。Python と PyTorch、それに分散学習の基礎知識は前提になります。
料金
ライブラリ自体は無償です。かかるのは GPU の費用で、自社サーバーかクラウドの GPU インスタンス代がそのままコストになります。強化学習は生成と学習を交互に回すため、通常のファインチューニングより GPU 時間を消費しやすい点は、見積もりのときに見ておくべきところです。なお NVIDIA にはサポート付きの有償製品（NVIDIA AI Enterprise）もありますが、NeMo RL を使うこと自体に購入は必要ありません。
誰が作っていて、競合は何か
開発元は NVIDIA です。同種のものとしては Hugging Face の TRL、ByteDance 発の verl、OpenRLHF などがあり、オープンソースの競争が激しい領域です。NeMo RL の位置づけは、NVIDIA のハードウェアと Nemotron などのオープンモデルを含めた一式の、学習側の入口にあたります。
事業側から見た意味は、モデルの重みを自社に置いたまま独自モデルを作れることです。当サイトでも取り上げたとおり、Salesforce は NVIDIA のオープンモデル Nemotron 3 Super を、約 30 年分の CRM 導入から作った合成データセットでポストトレーニングし、CRM 特化の推論モデル「Koa」を開発しました。オープンモデルなので重みは Salesforce が保持し、学習も推論も自社インフラ内で完結します（同社が NeMo RL を使ったかどうかは公表されていません）。オープンな基盤モデルを自社データで鍛え直す、という流れの受け皿がこの種のツールです。
