ローカルAIとは、AIモデルをクラウドのサーバーではなく、手元のPCやワークステーション、社内のサーバーで動かす使い方のことです。入力したデータが外部のサービスに送られず、ネットにつながっていなくても動かせる点が、クラウド型のAIと大きく違います。
ローカルAIとは：クラウドAIとの違い
ChatGPTのようなクラウド型のAIでは、質問や資料は事業者のサーバーに送られて処理されます。ローカルAIは、公開されているAIモデルのデータを自分の機材にダウンロードし、その機材のGPUやメモリーで計算します。
そのため、使える性能は手元の機材で決まります。特に重要なのはメモリーの容量です。モデルが大きいほど多くのメモリーを使い、容量が足りなければそもそも読み込めません。ASCII.jpは、RTX Sparkを搭載するノートPC「Surface Laptop Ultra」について「ローカルAIならメモリーは最低48GB必要ではないか」という観点で記事にしています。ただしこれは疑問形の見出しで、検証結果は当サイトでは確認できていません。
何に使えるのか
ローカルAIが向いているのは、主に次のような場面です。
・社外秘の文書、顧客情報、ソースコードなど、外部に送りたくないデータを要約・検索・分析する ・工場や移動中など、ネットにつながらない環境でAIを使う ・開発者が、クラウドの利用料を気にせずモデルの試作や検証を繰り返す
事業会社の企画・DX担当にとっては、「情報の持ち出し」が理由でクラウドAIの導入が止まっている業務で、選択肢の一つになります。一方で、手元で動かせるモデルは機材の能力に制限されるため、クラウドの大規模なモデルと同じ精度が出るとは限りません。どの業務で十分な精度が出るかは、実際に試して確かめる必要があります。
使い方
基本の流れは、(1) AIモデルを動かすためのソフトを入れる、(2) 公開されているモデルを選んでダウンロードする、(3) チャット画面や、ほかのアプリからの呼び出しで使う、の3段階です。エンジニア向けにはOllamaやLM Studioといった実行用のソフトがあり、コマンドや画面からモデルを選んで起動できます。
モデルを選ぶときは、まず手元のメモリー容量に収まるかを確認します。同じモデルでもデータを軽くした版が配布されている場合があり、精度と引き換えに少ないメモリーで動かせます。
料金：何にお金がかかるのか
ローカルAIには、クラウドAIのような「使った分だけ払う」利用料がありません。かかるのは、主に機材の購入費と電気代です。つまり、最初にまとまった費用を払い、あとは使うほど1回あたりのコストが下がる構造です。
メモリーを多く積んだPCや専用機は、一般的なPCより高くなります。具体的な製品の価格は、当サイトの材料からは確認できていないため、ここでは書きません。クラウドとどちらが安いかは、利用量と、必要なモデルの大きさで変わります。
誰が作っているのか：ハードウェアの動き
投資家の視点では、ローカルAIの普及は、AIを動かす半導体と機材の需要が「データセンター」から「個人や企業の手元」へ広がる動きと見ることができます。
当サイトで確認できている範囲では、NVIDIAの動きが目立ちます。同社はノートPC向けの「RTX Spark」について、世界のPCアプリの対応が整ったと発表しました。また、デスクトップ型のAIシステム「DGX Spark」に64GB版を加え、開発者が手元でAIを作れる選択肢を広げています。どちらも、価格や発売時期、性能の詳細はまだ確認できていません。
競合としてまず挙がるのは、同じ機材メーカーよりもクラウドAIそのものです。「データを外に出せるならクラウド、出せないならローカル」という使い分けが、今後の市場の大きさを決める軸になると当サイトは見ています（これは当サイトの推測です）。
