反向传播梯度正常，但参数还是变成inf - pytorch吧 - RAT

反向传播梯度正常，但参数还是变成inf

level 1

放在眼里在于楼主

反向传播梯度正常，但参数还是变成inf，学习率设的很小为1e-8，大概什么原因呢

2023年05月14日 12点05分 1

level 1

放在眼里在于楼主

又试了一下，使用adamw做优化器就直接inf了，用sgd就正常了，还是不知道为什么

2023年05月14日 12点05分 2

level 9

用梯度裁剪试试？

2023年05月15日 18点05分 3

1