这种loss始终振荡咋解决啊
pytorch吧
全部回复
仅看楼主
level 1
yy核动力航母 楼主
一共60个训练样本，输出是一种物质含量，输入是9个光谱上的9个点，迭代1000多次过后loss就开始一直振荡，虽然还是在减少。有好心人帮帮吗，论文给你加个名字
2025年01月02日 03点01分 1
level 2
Glasses_HD
先调学习率之类的超参，没有用的话可以找找最新的优化器试一下
2025年01月02日 10点01分 2
yy核动力航母
看样子是学习率问题，设置了一个学习率随着loss衰减结果好些了
2025年01月06日 08点01分
level 11
sealed_ss
[乖]如果用了RNN，这情况倒是正常
2025年01月02日 13点01分 3
yy核动力航母
我这不是rnn啊，就普通的全连接，输入9，隐藏10，隐藏5，输出1的结构
2025年01月03日 00点01分
sealed_ss
@yy核动力航母 那就只能做更换优化器或者调整学习率之类的操作了[小乖]
2025年01月04日 03点01分
level 2
贴吧用户_aa4N49Z
感觉可能训练样本太少了[疑问]
2025年01月06日 07点01分 4
yy核动力航母
没办法，这个只有这么多真值点
2025年01月08日 04点01分
贴吧用户_aa4N49Z
那你可以试试预训练模型，就是你研究领域同类型应用，之前训练好的模型。你把参数拿过来设为初始权重，用现在的数据训练，可能有用。。。
2025年01月08日 05点01分
yy核动力航母
@贴吧用户_aa4N49Z 这是个思路，我试试
2025年01月13日 02点01分
level 2
斤斤计较五楼朩
样本太少了
2025年06月22日 09点06分 5
level 2
斤斤计较五楼朩
学习率调低点
2025年06月22日 09点06分 6
1