本地部署大模型大概要什么配置才能达到可以玩的水平？
sillytavern吧
全部回复
仅看楼主
level 6
想当绅士的流氓
楼主
想要dzmm那种级别的话是需要什么级别的卡和多少G的内存？平时玩点nsfw的，找了个8B的ds结果像个智障医院
2026年02月20日 05点02分
1
level 5
异域过客
Bro家里有服务器？
2026年02月20日 06点02分
2
level 7
yeshao🌐
本地部署能玩的至少至少也要13b的模型，还不能太复杂的卡，内存也得32起步，炸显存了也只有2t/s的速度，不建议折腾本地模型
2026年02月20日 08点02分
3
超链理论
9950x3d 5090（不带D） 96G内存 能跑个啥出来
2026年02月20日 08点02分
yeshao🌐
@超链理论
24b能爽玩，32b要稍微控制一下上下文，不过肯定也能爽玩。至于72b以上的那就要看激活参数和上下文分配了，但也属于勉强用状态。至于100b那基本载入到内存和虚拟内存里了，2~1t/s基本没跑基本不可用。不过我也只用过3090跑32b的模型，只供参考
2026年02月20日 09点02分
超链理论
@yeshao🌐
感谢解惑
2026年02月20日 09点02分
1
