求助!!!
ollama吧
全部回复
仅看楼主
level 1
ollama安装了,没问题,在跑Qwen3模型,略微吃力,也没问题,转头一看是CPU承担了所有。
网上说CUDA可以用GPU分担CPU运算压力,于是我去安装了CUDA,CUDA版本号也显示正常,可是安装前后没有任何区别,依旧是CPU承担大部分压力,GPU的占用率不到5%[泪]
2025年09月07日 11点09分 1
level 1
你模型21g,你显存多大的?模型大于显存,就会在内存上跑,就特别慢
2025年09月12日 08点09分 2
我的直接提示错误,代码500
2025年09月12日 09点09分
@网络叔 不清楚
2025年09月12日 15点09分
level 1
[喷][喷]我的也是 更新了CUDA 设置了环境变量 一样不走gpu
2025年10月08日 06点10分 3
level 1
我也遇到这个问题了,显存没有占用却不使用显存,一直使用cou,现在已经尝试过环境变量,重启服务,都没有用。。
2025年12月01日 08点12分 5
我也一样,显存有占用,使用率特别低
2026年01月22日 06点01分
level 4
显存装不下,可能直接弄到内存去了。把上下文拉到最小试试
2025年12月21日 11点12分 6
1