qwen3.5 本地部署实测，已然无敌。
实测27b生成效果可以战平最新deepseek和grok，写nsfw内容效果起飞。
35b-a3b稍微差点，但是速度飞快，适合日常用。全部支持多模态图片理解。
最关键是本地部署的成本.只需要一块2080ti 22G，2000块一张卡，即可跑出下面效果：llama.cpp+ q4量化27b + q8 kvcache量化，可以跑到20token/s同时带100k上下文.
llama.cpp+ q3量化35b-a3b + q8 kvcache量化，可以跑到70token/s同时带256k上下文。
属于本地大模型的时刻已经到来！这下知道为什么上面要赶qwen负责人走了，这玩意跟阿里云的逻辑天生冲突，如果每个人都可以花2000就在自己的电脑上部署一个相当于最新DeepSeek的大模型，就跟云厂商卖token的逻辑严重冲突。只有那些最顶尖的gemini，claude，gpt的超大模型的token才会卖的出去了。
缺点：思考容易死循环。需要多调教一下加强重复生成的惩罚。

差多了

5090部署35b的awq4bit在vllm运行180t/s，能有fp8的65k上下文，太高的上下文的话速度就降到120t/s，llama底层运行只有120t/s而且不知道为什么线程跑着跑着速度会掉到100到80

千问本地能nsfw？不是说他甲很厚吗 破解版好像写出来还是畸形的不好用

显存没那么大，只有16g，这种情况本地部署我是应该考虑高参数量的q1q2，还是低参数的q5q4。

本地部署也没那么容易,q4下损失太大。而且性能实测一般认为在glm5/gemini2.5flash的水平上，上下文越长受限于参量差距越大。本地部署要求也没那么低。而且阿里幽默的官方api定价这一27b的模型128k以上输入价格要1.8/14.4在云端对比dsv3.2或者几个2/300b的moe模型完全没优势

你上哪搞的2080ti 22g

模型本身不能nsfw吧？

家用设备本地部署本身上限还是太差了，在几坨之间比来比去真的没啥太大的意义，除非是企业做私有部署，然后降本在产品里把垃圾模型给用户做轻量级回答那种

同2080ti
我看它qwen3.5这些模型输出的思维链里的内容的涩涩程度已经很接近ds了，相比于以前的本地模型真的就是巨大提升
我电脑四张卡凑的60G显存，试了试跑122B的q2，与其它几个30来B的模型对比，感觉水平都差不多，跑酒馆角色扮演，带内容比较多的世界书开场一万多token能跑个五六楼。虽然跑剧情看不了，但觉得只要调教优化下，写点短篇nsfw够用了，不过特别容易抽风重复输出也确实是个问题，离ds的api还有点远，期待半年后的开源模型水平

之前试了试7b还是8b，输入输出太短了

还能咋优化优化

7900xt的20g显存可以部署这个吗

27b h q8

什么意思