关于本地部署小模型的一些心得体会

Leruca · 发表于 2026-9-8 11:38:22

这几年的大语言模是型越来越牛逼了，但是联网的大模型通常自带一套模型层面的道德审查，破甲也没有想象中那么好做，而且往往很不稳定

最近在尝试使用大模型做三字的时候还遇到了若干过于昂贵的问题，这就促使我转向了本地部署
让我比较惊喜的是，今年的小模型相较于2023年已经好用了不止一个层次，qwen的4B参数量比那时候的32B还能打，而且huggingface也不用梯子了，ollama之类的配套设施也很完善了
总而言之就是部署很方便！

经测试，32gb内存，4060laptop显卡，加载qwen3.5 4B 破限版本，上下文开到64k的情况下，能跑到60tokens/s的输出速度，这个速度是绝对可用的，起码看着不难受
实际占用内存也非常小，随便多开的程度
模型的智商正在测试中，已经接入了dsh，准备用来量产口上，一天跑个两万行还是轻轻松松的；跑酒馆有时候会会错意，但是上下文一致性还不错，目测接入harness打零工应该可以节约不少token
比如主流程让大模型控制子代理交给小模型有问题再修之类的……应该会有不少用途

但是我已经贫穷到接不起大模型了，所以当务之急就是搓一个给小模型用的流程出来
今天下午就开工

Leruca · 发表于 2026-9-8 11:46:03

嘛虽说如此其实也是有朋友的token烧的……偷偷烧一点
或许我接不起大模型，但是也或许可以

那耳喀索斯 · 发表于 2026-9-8 15:23:49

小模型感觉语料不够，不一会儿就开始重复，所以要经常主动修改，大模型又要疯狂思考，所有高质量内容都是思考出来的，导致破限只要影响到思维链就容易输出全变成垃圾，只能说卡在这里了

小行星坠落 · 发表于 2026-9-8 18:24:57

或许将来会出现一群人搭伙买工作站部署本地ai，比如凑几十个人，每个人出几万块

		自动登录	找回密码
密码			立即注册

[心得体会] 关于本地部署小模型的一些心得体会