本地端跑 LLM，到底需要多少 VRAM？AI 砌機選 GPU 完整指南

先理解 VRAM 是甚麼

本地 LLM 的權重、KV cache、運算暫存及部分工作流都會消耗 GPU 記憶體。模型名稱後面的 7B、14B、32B 等不是直接等於需要多少 VRAM，因為量化格式、Context 長度、推理框架及是否同時載入其他模型都會影響實際需求。

參考思路

入門 7B–8B 類模型通常可以從中等 VRAM 平台開始；14B 以上、較長 Context 或需要多模型並行時，VRAM 需求會逐步增加。若目標是 70B 類大型模型，則應先以實際量化格式及 VRAM 容量計算，而不是單看模型參數。

為甚麼 HKAIPC 不只看 GPU 型號

同一張 GPU，如果系統 RAM 太少、SSD 太慢、散熱不足或電源沒有餘量，長時間 AI 工作流仍可能不理想。因此配機時會把 GPU、VRAM、RAM、SSD、CPU、散熱與電源一起看。

實戰建議

如果你已經知道想跑的模型，最有效率的方法是直接提供「模型 + 量化版本 + Context + 同時運行數量」。這些資料比只說「我要一部 AI 電腦」更容易得到準確配置。