SSD 兜底溢出：能跑起来不等于跑得快

分层存储的最后一档

运行时把最热的权重放显存、其余放内存、再放不下的从 NVMe SSD 读。这套分层让你「能启动」，但每轮推理只要触发读盘，延迟就会明显上升。

怎么判断在溢出

• 每轮输出前有可感知的停顿，且硬盘指示灯持续闪。
• 监控里磁盘读带宽长期不为零，显存/内存却没满。
• 同一提示词首轮慢、之后略快（部分层被缓存住了）。

该降档的信号

如果溢出是常态而不是偶发，说明档位选高了。优先降一档量化让权重全驻留，通常比「大档 + 频繁读盘」更快。批量离线任务可以接受溢出，交互任务不建议。

前提

兜底盘要是快 NVMe SSD；SATA SSD 在频繁溢出时会成为明显瓶颈。另外部分模型下载包里的 n-gram 表本就常驻 SSD，那部分不计入「溢出」，别误判。

相关

• 本地 Agent 的硬件账
• 量化档位与下载体积对照