level 8
贴吧用户_06eN4ab
楼主
之前不是修了个nf4 loader的bug嘛。当时我还在想为什么nf4速度比gguf快一倍却没人用,连工具都没人维护还得半路出家的我自己动手。实际上手跑多了后发现nf4的精度是真不行,各种丢提示词,软体结构的人体。找一圈后发现了svdq,这次我吸取教训自己先拿其他模型(底模都是flux)的提示词跑(官方选的都是吻合度高的测不出问题),发现svdq的准度真的高,比gguf还高。我就纳闷了为什么社区裁剪模型要么fp8要么gguf却没人考虑svdq?
二楼放链接和对比图
2025年03月23日 06点03分
1
二楼放链接和对比图