自分のLLM APIを持つ。
vLLMとGPU VPSの考え方

vLLMのような推論サーバーをGPU VPSで動かすと、アプリや社内ツールから自分のエンドポイントへ接続できます。

構成の基本

1. GPUとVRAMに合うモデルを選ぶ
2. 推論サーバーを内部ポートで起動
3. 認証付きのAPIゲートウェイを前段に置く
4. HTTPS、レート制限、ログを設定
5. 負荷と1リクエストあたりのコストを計測

そのまま公開しない

推論サーバーのポートをインターネットへ直接公開すると、無断利用や高額なリソース消費につながります。トークン認証、利用者制限、タイムアウト、ログ監視を実装します。

VPS.org公式のvLLMページでは、GPU VPSを使ったLLM APIの例が案内されています。モデルのライセンスと提供条件も確認してください。