大家好,新人请教个问题,大家用什么显卡 聊天回复速度如何？
chatglm吧
全部回复
仅看楼主
level 3
75018284
楼主
我是4070 回复的好慢啊...
另外请教回复速度这个问题和核心（显卡）有关？还是显存大小或显存带宽有关？
2023年08月28日 09点08分
1
level 6
神楽七奈office
使用量化模型6G以上8G以下用int4
8G以上12G以下用int8
13G以上用FP16/BF16
2023年09月08日 15点09分
2
75018284
我用的FP16 软件一开始就占满12G显存 后边的全靠虚拟内存顶着
2023年09月28日 00点09分
level 12
九天石
我4060Ti16G显存秒回，几乎没感觉要等待。
2023年09月23日 02点09分
3
75018284
那估计是我版本问题 我用的秋叶整合包 没有强制更新 跑的fp16
2023年09月28日 00点09分
level 3
75018284
楼主
我用的秋叶的整合包,没有强制更新,已更新就打不开了.不知道是不是因为这个原因.
2023年09月28日 00点09分
4
level 1
Matrixzdc
我的老机器，1070显卡，8g显存装int4的GLM2，短问题也基本上马上回，一秒出十几个字的样子。不爆显存应该就这样才正常吧。
2023年10月05日 08点10分
5
1
