部署多大的模型刚刚好?
ollama吧
全部回复
仅看楼主
level 2
猫耄耋哈气了
楼主
求助大佬们帮忙看看,5080+64G内存+9950x3d适合部署多大的模型?(主要用于写代码,搭建AI架构)
2026年07月14日 00点07分
1
level 1
biscircuit
16g 羊驼只能跑9b。因为千问14b空缺。写代码最起码也要27B。需要5090 dv2。
2026年07月15日 14点07分
2
level 1
biscircuit
moe模型只适合推理,跑框架,写代码最好用稠密模型,还要q4。
2026年07月15日 14点07分
3
1