追加学習とは、すでに学習を終えたAIモデルに新しいデータを追加で学ばせて、特定の分野や用途に強くする手法です。モデルをゼロから作るのではなく、公開済みのベースモデルの重み(パラメータ)を出発点にするため、比較的少ない計算資源で専門性を足せます。
追加学習とは:2つの種類とRAGとの違い
大規模言語モデル(LLM)で「追加学習」と言うときは、主に次の2つを指します。
- 継続事前学習:専門分野の文書を大量に読ませて、知識や語彙そのものを足す - ファインチューニング:質問と模範回答の組などを使い、答え方や振る舞いを調整する
ファインチューニングには、LoRAのようにパラメータの一部だけを更新して計算量を抑えるやり方もあります。
よく比べられるのがRAG(検索拡張生成)です。RAGはモデルの重みを変えず、回答するときに社内文書などを検索してモデルに渡します。追加学習は重みそのものを書き換えます。そのため、更新頻度の高い情報にはRAG、専門用語や分野特有の言い回しを身につけさせたい場合には追加学習、という使い分けが一般的です。
実例:医療特化LLM
さくらインターネットは9月24日、東京大学松尾・岩澤研究室が中心となって開発した医療特化LLM「Weblab-MedLLM-gpt-oss-120b」の提供を、推論API基盤「さくらのAI Engine」で始めました。オープンウェイトのgpt-oss-120bに、日本語の医学書・論文・診療ガイドラインなどで追加学習したモデルで、NEDO事業の成果です。汎用モデルを土台に日本語の医療知識を足すという、追加学習の典型的な使い方です。
このほか、KDDI傘下のELYZAが国産LLM「LLM-jp-4」をベースにしたモデルを無料で公開しています。ただし、どのような学習を加えたのかは当サイトの記事では確認できていません。
使い方:エンジニアが押さえる手順
自分で追加学習するときの流れは次のとおりです。
1. ベースモデルを選ぶ。重みが公開されていることに加え、ライセンスが改変や商用利用を認めているかを確認する 2. 学習データを整える。品質と量が結果をほぼ左右する 3. GPU環境で学習する 4. 元のモデルと比べて評価する。専門性が上がった代わりに汎用的な能力が落ちていないかも見る 5. 推論環境に載せて配信する
自前で学習しない選択肢もあります。上の医療LLMのように、追加学習済みのモデルをAPIで呼び出すだけなら、学習の工程を省けます。
料金:何にお金がかかるか
追加学習の相場を示す価格は、当サイトの記事にはありません。費用の主な内訳は、学習に使うGPUの計算時間、データを集めて整える人件費、完成したモデルを動かし続ける推論の費用の3つです。一般に、大量の文書を読ませる継続事前学習は重く、LoRAなどの軽量なファインチューニングは比較的安く済みます。さくらのAI EngineでのWeblab-MedLLMの利用料金も、記事からは分かりません。
誰が作っているか・競合
日本では、大学の研究室(松尾・岩澤研究室など)、国内の研究機関が中心となって開発を進めるLLM-jp、ELYZAのようなモデル開発企業、さくらインターネットのような計算基盤・API事業者が、それぞれ別の役割を担っています。土台になるベースモデルは、OpenAIのgpt-oss系のような海外のオープンウェイトモデルと、LLM-jpのような国産モデルの両方が使われています。
競合になるのは、ほかの追加学習モデルだけではありません。RAGで対応できる用途や、そもそも性能の高い汎用モデルで足りる用途もあります。以下は当サイトの見方ですが、追加学習モデルの価値は、土台のモデルよりも、ほかでは手に入らない専門データと評価の仕組みを持っているかで決まります。

