流畅运行32b模型，需要什么显卡？
deepseek吧
全部回复
仅看楼主
level 6
yoursdama 楼主
要在本地流畅运行32b的模型，选哪张显卡更合适，请大佬指教。
9950x+64g内存，选择7900xtx,5080，5070ti，哪张显卡最合适。就是说输出达到阅读速度，相差不大的话都可以接受。5090d实在太贵了。
如果是显存不足会用内存来跑得话，那显卡的算力还有用吗？
显存不足的吗，大显存和小显存的区别还大吗？
是不是5080可以勉强跑70b模型？
请指教。
感谢。
2025年02月07日 07点02分 1
level 5
假笑过河
xtx可以流畅运行
2025年02月07日 07点02分 2
yoursdama
谢谢
2025年02月07日 07点02分
level 1
贴吧用户_a6V3SA9
2080ti22g魔改可以试试32b
2025年02月07日 07点02分 3
yoursdama
谢谢
2025年02月07日 07点02分
level 3
平壤铁拳
建议xtx，显存占用就21g了
2025年02月07日 15点02分 4
yoursdama
谢谢
2025年02月07日 16点02分
level 6
yoursdama 楼主
如果买一张5070ti,再加上现在的4060，不知道这样能不能跑。
2025年02月08日 04点02分 5
低调私信
LM STUDIO支持的，还有人用4070TI+102跑，速度也可以
2025年04月15日 22点04分
赤心望向
跑不了一点，什么玩意啊？40系支持交火吗你就加？5080就他那显存和性能，跑脱肛了也跑不了70b，32b也勉强，要不你就纯跑cpu，整个线程撕裂者或者其他
2025年02月16日 04点02分
yoursdama
@赤心望向 ollama 部署不是支持多显卡吗？
2025年02月16日 04点02分
yoursdama
@低调私信 我现在就是5070ti+4060在跑，完全没问题
2025年04月16日 01点04分
level 3
随坤起个名字
32B要20G显卡内存，显卡不够就会用内存跑，这时优势不如E5洋垃圾ECC四通道内存跑的快[笑眼][笑眼]
2025年02月12日 08点02分 6
yoursdama
好像两张显卡加起来显存达标速度也不错。
2025年02月12日 11点02分
level 3
贴吧用户_7AWW25M
不如api，正常来说api再缩也有70b，要是能保持完整版和本地32b差得天上地下，实在硬要本地那就选显存大的
2025年02月16日 04点02分 7
yoursdama
还是希望本地部署。70b完整版的好像100g以上，普通电脑是没可能了。
2025年02月16日 04点02分
1