还在用NF4?快来拥抱svdq吧,准度媲美fp16,速度翻倍
stablediffusion吧
全部回复
仅看楼主
level 8
之前不是修了个nf4 loader的bug嘛。当时我还在想为什么nf4速度比gguf快一倍却没人用,连工具都没人维护还得半路出家的我自己动手。实际上手跑多了后发现nf4的精度是真不行,各种丢提示词,软体结构的人体。找一圈后发现了svdq,这次我吸取教训自己先拿其他模型(底模都是flux)的提示词跑(官方选的都是吻合度高的测不出问题),发现svdq的准度真的高,比gguf还高。我就纳闷了为什么社区裁剪模型要么fp8要么gguf却没人考虑svdq?
二楼放链接和对比图
2025年03月23日 06点03分 1
level 8
svdq和gguf一样需要安装额外插件,https://github.com/mit-han-lab/ComfyUI-nunchaku
都没什么人参与,c站和hf上至今都只有原作者发布的flux官模的量化模型。为什么你们宁愿用慢4倍的gguf也不愿尝试这个[泪]
2025年03月23日 06点03分 3
level 5
首先svdq需要至少3系及以上显卡才有效,fp4模型要5系。前置条件太多。
2025年03月23日 06点03分 4
根据steam硬件统计结果,30系以上显卡占比40%+,50系属于others。40%都没有动力吗?
2025年03月23日 08点03分
level 11
svqd出来没多久,还在逐步完善,后续肯定会火的
2025年03月23日 08点03分 5
level 1
太难安装了,尤其是那个deepcompressor。而且一开始comfyui节点是在nunchaku仓库里的文件夹里,还得移出来重新命名,最近作者才单独给这个节点开个仓库。fill模型还有高分辨率用不了的bug。
2025年03月23日 11点03分 6
它有现成的轮子直接用就行。
2025年03月23日 12点03分
deepcompressor是啥[喷]我clone后只单独装了个nunchaku,其他都是pip install -r也没报错啊
2025年03月23日 12点03分
我知道deepcompressor是啥了,编码器。这玩意比funaudiollm容易多了,提前设置UTF8就畅通无阻。funaudiollm有17年的包依赖,装得上个鬼
2025年03月23日 23点03分
level 9
它这个量化的效果确实不错,但是它这个模型需要转化成int4的,lora也不是随便用,就比较麻烦。
2025年03月23日 12点03分 7
1