Qwen3-235B-A22B-128K-UD-Q2_K_XL 怎么无法加载
极摩客吧
全部回复
仅看楼主
level 2
星弦漫痴♬ 楼主
设置96G了，Qwen3-235B-A22B-128K-UD-Q2_K_XL才 88G容量。为什么无法加载
2025年05月12日 02点05分 1
level 2
乐观的wzx78
64+64才是合理分配，虽然能到96G，但以实际经验来看是跑不起来的，以DeepSeek 70B为例，模型42G已全部装入显存，但真正运行起来，模型文件大小仅代表权重参数，实际运行时还需要额外内存用于上下文缓冲区、模型图等数据结构，还要额外的占用50G左右的内存空间。
2025年05月12日 13点05分 2
星弦漫痴♬
这样不对的，应该先利用96G显存，再利用内存。[呵呵]42G模型要占用48G左右显存，全部载入还有48G显存多.....所以这可能是AMD驱动问题，或者LM相关文件问题。 必需要解决.......不然GPU利用率50%都没有
2025年05月23日 13点05分
星弦漫痴♬
@星弦漫痴♬ 现在还有一半的性能没发挥出来
2025年05月23日 13点05分
siznnm
@星弦漫痴♬ 有可能他是先把模型载入内存，然后再从内存搬到显存，设置96g显存，内存已经只剩下32g了，所以模型载入内存这一步卡住了，以为内存放不进去
2025年05月23日 18点05分
星弦漫痴♬
@siznnm 所以说有问题- -
2025年05月23日 23点05分
1