LiteLLM（ライトエルエルエム）は、OpenAI、Anthropic、Google などのLLMを、OpenAI APIと同じ形式でまとめて呼び出せるオープンソースのソフトウェアです。Pythonライブラリとして使う方法と、社内向けの中継サーバー（プロキシ、AIゲートウェイ）として立てる方法の2通りがあります。
LiteLLM とは
LLMの提供元は、それぞれ独自のAPIとSDKを用意しています。そのため、モデルを切り替えるたびにコードを書き直す必要があります。LiteLLMはこの違いを吸収し、モデル名を変えるだけで呼び出し先を切り替えられるようにします。公式は100を超えるプロバイダーに対応するとしています。
何ができるのか・使い方
ライブラリとして使う場合は、pipでインストールしてから `completion(model=..., messages=[...])` という形で呼び出します。引数と戻り値はOpenAIの形式にそろっているので、OpenAI向けに書いた既存のコードをほぼそのまま流用できます。
プロキシサーバーとして使う場合は、アプリはLiteLLMにだけ接続し、LiteLLMが各社のAPIへリクエストを中継します。主な機能は次のとおりです。
- チームや利用者ごとに発行する仮想APIキー - 利用額の記録と予算の上限設定 - レート制限 - 障害が起きたときに別のモデルへ切り替えるフォールバック - 複数のデプロイ先への負荷分散 - ログ出力
企画・DXの担当者にとっては、部署ごとのLLM利用料を一か所で把握し、上限をかける仕組みとして使えます。
料金
オープンソース版は無料で使えます。ただし、LLM各社のAPI利用料は別途かかります。サーバーを自社で運用する場合は、そのインフラ費用も必要です。
SSOや監査ログなどを含む企業向けのEnterprise版もありますが、価格は当サイトでは確認できていません。導入する際は開発元に見積もりを依頼してください。
開発元と競合
開発元は米国のスタートアップBerriAIで、Y Combinatorの出身です。
同じ種類のツールとしては、複数のLLMをひとつのAPIで提供するOpenRouterや、AIゲートウェイ製品のPortkey、Kong AI Gateway、Cloudflare AI Gatewayなどがあります。ただし、提供形態は製品ごとに異なります。たとえばOpenRouterは他社が運用するサービスとして提供されており、自社サーバーに置くLiteLLMとは位置づけが違います。比べるときは、自社で運用するのか、外部サービスに任せるのかを軸にすると違いが分かりやすくなります。
セキュリティ上の注意
GIGAZINEの報道によると、配布されているLiteLLMのパッケージに、パスワードを盗む不正なプログラムが混入していました。インストールするだけで、同じ環境にある別のPythonプログラムにも影響が及ぶとされています。
当サイトが確認した範囲では、該当するバージョン、混入の経路、被害の規模は分かっていません。LiteLLMはAPIキーをまとめて預かる立場にあるため、狙われたときの被害が大きくなります。利用中の場合は、公式の告知で該当バージョンを確認し、必要に応じて認証情報を入れ替えることを勧めます。
