本地部署QWQ32b模型生成消息失败是什么原因
deepseek吧
全部回复
仅看楼主
level 1
卢伟冰-Low 楼主
抱脸镜像站下载的q8量化版gguf
2025年03月07日 15点03分 1
level 9
zk99011
LM studio不是告诉你报错原因了，jinja2的模版不对，你找个Qwen的Jinja2模版复制进去就行。LM studio的QwQ-32B默认Jinja2模版好像有bug
2025年03月07日 15点03分 2
卢伟冰-Low
但是qwen2.5可以正常运行呀
2025年03月07日 15点03分
zk99011
你找到Qwen2.5的Jinja模版，把它复制下来，替换QwQ-32B的Jinja模版就行了[汗]
2025年03月07日 15点03分
铠甲加鲁兽
@zk99011 这玩意去哪找啊[泪]
2025年03月07日 18点03分
level 5
念生老师♂
ollama部署吧，还挺稳定。
2025年03月07日 15点03分 3
zk99011
ollama方便是方便，但还要另外准备一个图形界面，还要设置环境变量就觉得略烦，本人比较懒所以继续用LM studio，而且LM studio支持MLX模型（这个是重点，在苹果的M芯片上推理速度要比llama.cpp的GGUF格式快20%）[吐舌]
2025年03月07日 16点03分
念生老师♂
@zk99011 ollama加chatbox非常方便，不会比Lmstudio啰嗦。私密性更好。本地部署最重视私密性。ollama已经适配mlx框架。
2025年03月08日 01点03分
level 1
铠甲加鲁兽
楼主解决了吗
2025年03月07日 18点03分 4
卢伟冰-Low
lmstudio更新一下就好了
2025年03月08日 01点03分
level 1
爽翻123
如果显示jinja模板错误，点击左侧第三个图标，显示本地模型，把这个模型的prompt从jinja改成llama3，就可以使用了。
2025年03月08日 03点03分 5
763125038
亲测有效，谢谢
2025年03月09日 15点03分
1