BYD A卡还挺快。本地部署14/32b，还挺快
amd吧
全部回复
仅看楼主
level 13
暗炎之主🍁 楼主


2025年02月03日 11点02分 1
level 12
FrapsH♂
也就刚开始几天，劲头一过索然无味，除非靠这个生产力赚钱~[吐舌]
2025年02月03日 13点02分 2
悠哥与诚哥
生产力也难赚钱
2025年02月04日 19点02分
小皮实😞
就过年拜年用了几天，别说，给人发祝福语确实好用，朗朗上口，还押韵
2025年02月06日 09点02分
精神肥宅🌌
@小皮实😞 还能发emoji的[滑稽]
2025年02月25日 03点02分
暗炎之主🍁
@精神肥宅🌌 还能YYGQ[滑稽]
2025年02月26日 00点02分
level 9
执着的旅人
质量
怎么样
2025年02月04日 01点02分 3
暗炎之主🍁
质量取决于你用什么大小的模型，32b应付初中和高中必修已经问题不大了
2025年02月04日 03点02分
level 2
纸杯可乐1713
什么卡？
2025年02月04日 07点02分 4
量子叠加态
他如果能部署32b应该就是xtx
2025年02月04日 09点02分
o_headache
@量子叠加态 68以上就能跑32b，当然77不算68以上。另外这视频没设置好，显存没吃满
2025年02月04日 11点02分
暗炎之主🍁
6800XT
2025年02月04日 11点02分
暗炎之主🍁
@量子叠加态 不是XTX，XTX买不起[滑稽]
2025年02月04日 11点02分
level 1
SBKLV
问下它strawberry中有几个r[滑稽]
2025年02月04日 11点02分 5
暗炎之主🍁
3个R[滑稽]
2025年02月04日 11点02分
SBKLV
@暗炎之主🍁 牛逼。我的一开始回答两个，质疑一次后回答对了
2025年02月04日 11点02分
level 1
恋冰╬═蓅囩
我想玩图，现在a卡还不行
2025年02月04日 14点02分 6
暗炎之主🍁
玩图可以换个系统环境，不想换可以走WSL2搭建Serves
2025年02月05日 05点02分
惠惠酱有话说◆
@暗炎之主🍁 a卡不用换环境了，用b站那个大佬的启动器，但是慢很多
2025年02月07日 12点02分
暗炎之主🍁
@惠惠酱有话说◆ ZLUDA不完善，换个环境ROCM6.2还挺快
2025年02月07日 12点02分
惠惠酱有话说◆
@暗炎之主🍁 那我找机会试试，我以为都用的rocm[滑稽]
2025年02月07日 12点02分
level 11
FTSJDLHHLC
啥卡可以32b？
2025年02月04日 15点02分 7
杏子👻
xtx
2025年02月05日 03点02分
暗炎之主🍁
＞16G 显存可以用内存填到可用的地步，如果想有较好的体验需要显存＞20GB，推荐24G以上
2025年02月05日 04点02分
熊喵非猫
我用6800部署了14bq4和32bq3，速度分别是30tok/s和7tok/s
2025年02月16日 04点02分
暗炎之主🍁
@熊喵非猫 差不多，XT要快一些
2025年02月16日 11点02分
level 3
爱吃橙的流氓兔◎
我6650XT，96G DDR4内存，能跑多大的？ 显卡性能一般但是内存大
2025年02月05日 04点02分 8
贴吧用户_aeNRCD5
我用的6900xt显卡，不管是deepseek的14b，32还是70b，都不读显卡，全靠CPU，速度差不多是20token，5token和，2token。不知道为什么
2025年02月23日 07点02分
暗炎之主🍁
32b 不过速度会比较低
2025年02月05日 04点02分
Darth_Clark
@暗炎之主🍁 96G可以跑70b Q8了，前提是没有其他爆吃内存的东西
2025年02月05日 07点02分
Darth_Clark
@暗炎之主🍁 但确实慢，DDR4的速度跑70b估计达不到1tps，问个问题出去吃顿饭，回来可能还在那儿码字呢
2025年02月05日 07点02分
level 1
快进到太平洋💦
6750GRE12g跑32b的一秒钟3，跑14b一秒钟28
2025年02月05日 07点02分 9
暗炎之主🍁
差不多，我的快了大约40%的样子。14b 基本上大于5不出错，就可以说勉强可以用差不多就是人阅读速度慢点。相对丝滑的体验还是得8-10以上
2025年02月05日 09点02分
level 7
蠕动潜行而来▫
有没有a卡用的整合包[呵呵]
2025年02月05日 10点02分 10
暗炎之主🍁
如果你是7000系或者6000系6800以上的卡直接上ollama官网下官方版就行，然后上AMD官网搜索HIP-SDK，装完就可以直接调用显卡用hip推理了
2025年02月05日 10点02分
北极星boy
回复 暗炎之主🍁 :收藏了，我去找找试试看
2025年02月06日 09点02分
level 1
外国水军卡梅隆
这么说来，要的牢a规划9000系的时候不放弃旗舰，堆个36或者48g显存的9090xtx出来，说不定本来还有点抢市场的搞头？[滑稽]
2025年02月06日 03点02分 11
于欢愉中灭亡
@暗炎之主🍁 做大显存的卡倒逼ai生态里的用户去完善优化a卡生态，48g显存放那8000的价格，跑ai比5090还爽你觉得玩ai用户会选择谁。[滑稽]
2025年02月09日 14点02分
暗炎之主🍁
@于欢愉中灭亡 肯定是48G的A卡[滑稽]就是要去Linux我也愿意啊，花N卡1/3的价体验更大碗的显存，deepseek证明得算力爹没有，显存爹才是真的king[滑稽]
2025年02月11日 04点02分
暗炎之主🍁
放弃旗舰是对的。因为RDNA4不能和5080/90对抗，强行做非常吃力，又贵又没有人买[滑稽]就看AMD疯不疯了，敢不敢初2x2x8双面32G的显存版的9070XT了敢出5070敢死[笑眼]32G可以无压力直接载32b 内次一填70b也不是不能凑合用
2025年02月06日 04点02分
感冒life
！！！你说得对，还真有这可能。。。
2025年02月06日 06点02分
level 1
神说要有钢牙
我2080ti11g+64g ddr4内存，可以跑多大的啊
2025年02月06日 07点02分 12
暗炎之主🍁
撑死14b，拿内存填一下空缺。强行32b会非常慢
2025年02月07日 00点02分
神说要有钢牙
@暗炎之主🍁 那如果改成22g显存呢[喷]
2025年02月07日 00点02分
暗炎之主🍁
@神说要有钢牙 可以32b。不过改22G代价不低，卡本身的钱加上换显存的钱，都能买全新7800XT了[滑稽]
2025年02月07日 01点02分
神说要有钢牙
@暗炎之主🍁 算了，老老实实打游戏[微微一笑]
2025年02月07日 01点02分
level 13
北极星boy
有教程吗
2025年02月06日 09点02分 13
level 12
hygixen
什么？比亚迪做A卡了？
2025年02月07日 03点02分 14
五卢布火葬场
byd好像还真代工过矿卡，跟富士康业务差不多。。。[滑稽]【虽然流出的只见过nv矿渣。
2025年04月18日 05点04分
level 1
已深度思考（1秒）
录视频的怕不是14b，我这68xt部署的32b慢得要死
2025年02月07日 12点02分 15
暗炎之主🍁
演示的是14b。32b大约速度慢2/3，算是能用。32b是换4080s都爆显存的玩意，能用就行了[滑稽]
2025年02月07日 12点02分
莫雷洛秘典◎
@暗炎之主🍁 我的9070xt 14b能跑50token，难道32b能跑17？
2025年04月13日 14点04分
暗炎之主🍁
@莫雷洛秘典◎ 现阶段50token是靠算力硬跑的，没用稀疏矩阵加速器[滑稽]用了配合合适量化参数14b可以更快。爆显存以后就是取决于内存带宽和PCIE速度了
2025年04月15日 09点04分
莫雷洛秘典◎
@暗炎之主🍁 可是n卡也就60啊，我不信a卡这代ai有那么厉害
2025年04月15日 10点04分
1 2 尾页