ローカルLLMに必要なVRAMは、重みとKVキャッシュに分けて見積もる

必要な VRAM は三つの足し算です。モデルの重み、KV キャッシュ、そして余裕です。重みは式で出せて、公式のファイルサイズで確かめられます。KV キャッシュは入力の長さに比例して増えますが、公式にはモデル別の GB 数が載っていません。だから、重みだけで VRAM を使い切るモデルは避けるのが安全です。

重みの大きさは、パラメータ数とビット数の掛け算で出せる

量子化とは、重みを少ないビット数で保存してサイズを減らす方法です。1 つの重みに何ビット使うかが決まれば、重みの大きさは次の式で計算できます。

この式は算術であって、公式が示す式ではありません。それでも実測のサイズに近い値が出ます。llama.cpp の公式 README には、Llama-3.1-8B を量子化したときのサイズが載っています。

Q4_K_M で式に当てはめると、8 × 4.8944 ÷ 8 ≒ 4.89 GB です。GiB に直すと約 4.56 で、公式の 4.58 GiB とほぼ一致します。なお公式は、量子化で精度が落ちうると説明しています。落ち幅の具体的な数値は載っていません。

公式のファイルサイズで、載るかどうかの見当をつける

Ollama の公式ライブラリには、モデルごとのファイルサイズが載っています。これは重みだけのサイズで、KV キャッシュと実行時のバッファは含みません。既定のタグの量子化は明記されておらず、同じ ID の Q4_K_M タグから推定しています。

VRAM は、NVIDIA の公式ページで RTX 4090 と L4 が 24GB、H100 SXM と A100 80GB が 80GB です。重みだけを見ると、24GB の GPU には gemma3:27b（17GB）や qwen2.5:32b（20GB）が収まります。qwen2.5:32b は残りが 4GB 程度なので、KV キャッシュの分が足りるかを次の節で確かめる必要があります。80GB の GPU には llama3.1:70b（43GB）と qwen2.5:72b（47GB）が収まります。llama3.1:405b は 243GB で、1 枚の GPU には載りません。

KV キャッシュは、入力の長さと同時処理の数に比例する

KV キャッシュは、モデルが直前までの入力を覚えておくための領域です。Ollama の公式 FAQ によると、既定のコンテキスト長は 4096 トークンです。コンテキスト長を伸ばすとメモリの使用量が増え、必要量は同時処理数とコンテキスト長の積に比例します。

KV キャッシュの型は既定で f16 です。q8_0 にすると約半分、q4_0 にすると約 4 分の 1 になります。ただし q4_0 は品質の低下が大きくなることがあると、同じ FAQ に書かれています。

見積もりの手順

1. 使いたいモデルのファイルサイズを、公式ライブラリで確認する。
2. 量子化を選ぶ。サイズと精度のどちらを優先するかで決める。
3. 使うコンテキスト長と、同時に処理する数を決める。
4. GPU の VRAM から重みの分を引き、残りが KV キャッシュと実行時のバッファに足りるかを見る。
5. 足りなければ、KV キャッシュの型を下げるか、小さいモデルにするか、VRAM の大きい GPU を選ぶ。

重みだけで VRAM のほとんどを使うモデルは、入力を長くしたときに動かなくなる可能性があります。これは KV キャッシュが増える仕組みからの推測で、公式に数値があるわけではありません。