显存分配问题 - pytorch吧

level 1

锦馐楼主

家人们为什么我的pytorch显存保留把所有显存全占满了哇呜呜呜 [泪]

2023年06月24日 08点06分 1

level 1

锦馐楼主

可用显存一点都没有了

2023年06月24日 08点06分 2

level 1

锦馐楼主

网上没找到解决办法

2023年06月24日 08点06分 3

level 11

sealed_ss

因为你程序需要的显存比显卡的显存大 [阴险]

2023年06月24日 14点06分 5

锦馐

不愧是吧主！意思是我的总显存8个G，加载模型已经超过了8个G，然后还需要额外的32MB分配给其他变量所以才会出现0 free的情况吗

2023年06月24日 17点06分

sealed_ss

@锦馐不能确定额外还需要多少，只能确定显存不够，因为它是动态分配的

2023年06月25日 11点06分

level 1

zsjiiikk

同问题。。。CUDA内存不足。已尝试分配196.00 MiB（GPU 0；6.00 GiB总容量；已分配372.64 MiB；3.87 GiB可用；PyTorch总共保留376.00 MiB）如果保留内存>>已分配内存，请尝试设置max_split_size_mb以避免碎片。请参阅内存管理和PYTORCH_CUDA_ALLOC_COFF的文档 [泪]