算力

写代码用本地模型：量化档别压太狠

代码补全对长上下文与符号一致性敏感，低比特量化的损失比闲聊更明显；给出按显存挑档的实操顺序与自测方法。

ガイド一覧 · 本文は主に簡体字中国語です。国際向けの要点は English summary をご利用ください。

为什么编码档不能取最低

代码任务依赖长上下文里的变量名、函数签名和跨文件引用。量化压得越狠，这类细粒度一致性越容易丢——闲聊里不易察觉，补全里会直接写错符号。

2. 优先让权重全驻留显存，编码延迟比省容量更重要。

3. 容量不够时，先降上下文长度与并发，再考虑降量化档。

4. 只有批量离线重构这类不敏感任务，才用激进量化 + SSD 溢出。

固定三个真实任务各跑一遍：补全一个函数、跨文件改一处调用、按注释生成一段测试。记录「能否编译」和「符号是否对得上」，用结果决定档位，别只看 bpw 数字。