ローカルLLMはGPUを買う前にクラウドで試すべきか
RTX 4060の8GBで動かしてみると、13Bの壁がすぐ来る。 「もっと賢いモデルを使いたいが、そのためだけに10万以上出すのか」という問いが生まれる。 その前に試す選択肢が、クラウドGPUだ。
クラウドGPUでできること
RunPodやVast.aiは、高性能なGPUを時間課金で借りられるサービスだ。 RTX 4090（24GB VRAM）やA100（80GB）を、初期費用ゼロで使える。
GPUを10万円以上出して買う前に、「自分の使い方にそのモデルが本当に必要か」を時間課金で確かめられる。 短時間の試用で済む分、失敗しても損失は小さい。
クラウドとローカル、何が違うか
| 項目 | クラウド | ローカル |
|---|---|---|
| 初期費用 | ほぼゼロ | GPU代（4〜20万〜） |
| 月コスト | 使った分だけ | 電気代のみ（毎日使うなら安い） |
| 使えるモデル | 高VRAMを選びやすい（70Bも試せる） | VRAMが上限 |
| プライバシー | サーバー上で処理 | 完全に手元 |
| 応答速度 | ネット経由（安定性に左右） | ネット経由の遅延がない |
| 常時利用 | サービス依存 | 電源ONですぐ使える |
クラウドは「始めやすさ」が圧倒的に強く、ローカルは「使い続けるコスト」と「使い勝手」が有利だ。 逆に言えば、毎日使うならローカルに切り替えた方が長期的に安くなる分岐点がある。
13Bと70Bの速度は、クラウドでどう変わるか
RTX 4060（8GB）で13Bを動かすと、VRAMに入りきらずCPUへのオフロードが起きる。 24GB以上のGPUが使えるクラウドなら、13Bはオフロードなしで動かせる環境に近づく。
70Bはローカル8GBでは実質動かない。試すこと自体がクラウドでしかできない状況だ。 「本当に70Bが自分に必要か」を確かめるためだけでも、クラウドで試す意味がある。
どちらが向いているか
クラウドで試してから、ローカルへ
これが一番失敗しにくい順序だと思う。
クラウドで13Bが快適に動いても、ローカルで同じ体験を出すためにはVRAMが必要になる。 その「必要なVRAM量」をクラウドで体感してから買うと、買い直しが起きにくい。
一方で、クラウドを使い続けると「毎回起動が面倒」「ネットがないと使えない」という不満が出る。 そこで初めて「ローカルが欲しい」という気持ちが具体的な形になる。 クラウドは代替品というより、ローカルへの判断材料として機能する。
RunPodとVast.ai、どちらを使うか
どちらも「GPUを時間単位で借りる」サービスだが、性質が少し違う。
初めて使うならRunPodの方がトラブルが少ない。慣れてきてコストを抑えたいならVast.aiで探すのもあり。
クラウドで試したあと、「どのVRAM量が自分に合うか」の判断基準はこちらで整理している。
必要なVRAMが見えたら、GPU選びの記事で具体的な機種を絞れる。
GPUの実売価格はここで確認できる。