上次我在本机部署 Qwen3.8-27B,前后搭进去一晚上。下载 13 个 G,配 systemd,写 jinja 模板,接进 agent。全部弄完,重启服务,日志里跳出一行:显存不足,OOM。
我第一反应是"不可能"——文件才 13 GB,我显卡 16 GB 显存,怎么会装不下?直到我把账一笔一笔列出来,才发现自己犯了一个很蠢但很典型的错:我把文件大小当成了运行成本。 文件 13 GB,不等于跑起来只要 13 GB。
这句话听着像废话,但你翻一圈本地部署的教程和讨论,绝大多数人踩的就是这个坑:下载之前只看一个数字——模型多少 G,然后拿它跟自己的显存比大小。装完才发现不对,已经晚了:权重下好了,磁盘占了,一晚上搭进去了。
先说一句定位,避免撞车:我之前写过《83 个测试全绿,0 个用户》,那篇拆的是"拿一个便宜的近似指标替掉真实判据"这个失败模式——用测试绿灯冒充用户价值。这篇是同一个模式换了件马甲:用文件大小冒充运行成本。同一颗雷,不同的雷区。
一、能不能跑,不是一本账,是四五本账
以我这次为准,本机显存预算总共 15.34 GiB(16,311 MiB 总显存减去桌面占的 600 MiB)。真正要装进这个数里的,至少有四样东西:
1. 权重张量。 这是文件里最大的一块,但它不等于文件大小。一个 14.25 GB 的文件,真正要上卡的张量表只有 13.264 GiB——GGUF 文件里有元数据、对齐填充,不是每一字节都要进显存。反过来,Q8_0 那个 29.05 GB 的文件,上卡就是 27 GiB,直接出局。
2. KV cache。 这个完全不写在文件里,是运行时按你的上下文长度算出来的。27B 这个模型有 16 层全注意力,每层 4 个 KV 头、head_dim 256,算下来每个 token 要 32,768 个元素。64K 上下文、f16 精度,这就是 4 GiB;压到 q8_0 是 2.12 GiB,q4_0 是 1.12 GiB。KV 才是那个藏起来的大头。
3. MTP 草稿层。 这个模型自带一层草稿层做推测加速,它要吃掉三重成本:草稿层自己的权重(0.3~0.5 GiB)+ 草稿层自己的 KV(默认 f16 时 64K 要 0.25 GiB)+ 计算缓冲,加起来 0.5 GiB 左右。很多人开 MTP 报 OOM,就是只算了权重,没算草稿 KV。
4. 视觉编码器。 要让它看图,mmproj 另算,f16 大约 0.9 GiB,跟主权重文件是分开的。
所以"文件大小"只是第一本账,而且是最不准的一本。KV、MTP、视觉,加上下面要说的内存,加起来能让一个"看起来装得下"的模型变成"根本装不下"。
但真正的教训不是这四本账,而是记账的时间点:预算要在下载之前出,不能在装完之后出。
二、“35B 不等于 35B 显存”,这句最反直觉
这是我在这次调研里最意外的一条。35B 的模型,难道不要 35B 的显存吗?不一定。
35B-A3B 是一个 MoE(混合专家)模型。它的"35B"是全部参数,但每一层只激活其中一小部分专家。真正必须常驻 GPU 的,是那些非专家的部分——注意力、共享专家、嵌入、输出头,加在一起只要 1.7~2.5 GiB。剩下 85% 以上的专家张量,可以用一个开关拆到 CPU 和内存里去。
为什么"35B"和"35B 显存"是两回事?因为稠密模型每生成一个 token 要读全部权重,MoE 每次只读它选中的那几个专家。 账本的形状不一样,取舍的空间就不一样。
这句话反过来更值得记住。同样是"掉 10 层"(把 10 层放到 CPU 去算),对稠密模型和 MoE 是完全不同的两件事:
稠密模型每 token 要读全部权重。16% 的层在 CPU,意味着每个 token 都要从内存里流 0.16 × 16 GiB ≈ 2.5 GiB 的数据。DDR4 带宽大约 45 GB/s,光这一项就是 56 毫秒的硬下界——换算成速度,最多 18 t/s。这不是"慢一点",是物理地板。
MoE 没有这笔账,因为专家是稀疏读的,下放的专家只在被激活时才读。
所以你看到的不少"下放几层提速"的教程,其实是在稠密模型上往死里掉速,还以为是省显存。账本形状没搞清,省下来的显存是拿速度硬换的,而那个速度的下界,在下载之前就能算出来。
三、16G 卡上的牺牲顺序:质量断崖比什么都致命
显存不够,必须牺牲点什么,先牺牲什么?我的实测给了一个顺序:优先牺牲上下文和并发,其次牺牲速度(部分 offload),最后才牺牲量化等级。
为什么量化等级放最后?因为它有一道可量化的断崖。
同样是量化,差别不在平均位数,而在"掉到 2-bit 的张量有多少个":
- UD-Q3_K_XL,平均 3.85 bpw,但有 22 个张量掉到 2-bit 档。
- UD-IQ4_XS,平均 4.17 bpw,掉 9 个。
- UD-Q4_K_XL,平均 5.04 bpw,0 个。
22 个张量掉到 2-bit,意味着有 22 个层在靠 2-bit 精度硬撑。这就是"智力不足"的来源——我这次卸载 27B 的真正原因就是它:Q3_K_XL 那 22 个掉 2-bit 的张量,让它明显变笨了。而想升到 Q4 那一档,16G 卡又必须下放层,速度从 28 t/s 掉到 10 t/s 上下。
两头都堵死,才轮到"卸载"这个结论。但重点是:这个结论在下模型之前就该推得出来,而不是下完、跑了一个礼拜、被它蠢到之后才认。 我花掉的这笔钱和时间,才换回下面这张预检清单。
四、立场收一句
这套记账法说到底是同一件事:把"能不能跑"从装完之后的既成事实,变成动手之前的可核算判断。 这跟我之前《会停手是技能》里写的"判据前置"是同一条纪律,只是从"该不该继续"挪到了"该不该下载"。算力是被定价的稀缺品,先算再买,是把自己的劳动时间从别人的规格表里拿回来——别等厂商的规格表替你决定你今天该后悔什么。
五、抄得走的六条
下次要在本地跑一个模型,按这个顺序过一遍,一分钟都用不了,但能省你一晚上:
- 拿张量表,不看文件大小。 GGUF 文件可以用 HTTP Range 只读前部元数据,几 MB 流量、几秒出结果,直接拿到"专家/非专家/MTP 各占多少 GiB"的真值,不用把整个文件下下来。
- KV 自己算。 公式:元素/token = 2 × KV头数 × head_dim × 全注意力层数。注意线性注意力层不进 KV——混合架构的省钱点就在这。
- MTP 三重成本一起算。 草稿权重 + 草稿自己的 KV(记得量化,默认 f16 很贵)+ 计算缓冲。
- 视觉另算。 mmproj 是独立的一块,不在主权重文件里。
- RAM 也要算。 MoE 专家不进显存就进内存,内存不够会掉到 SSD 上 mmap,那才是真正的速度断崖——每 token 随机读几百 MB。
- 最终以启动日志为准。 日志里
KV self size = … MiB、CUDA0 model buffer size = … MiB这两行是白纸黑字的真值,跑一次看一眼,再决定要不要长期启用。
一句诚实声明:上面关于 35B-A3B 的"非专家只要 1.7~2.5 GiB"来自张量表实测,但它拆卡之后的实际速度和智力是推算,我没实测过。所以这篇不是一个 35B 的推荐,只是一个"怎么算账"的示范——真正能抄的是那六条预检,不是某个具体的模型型号。