兄弟们,神经网络做回归 dropout 和学习率衰减 该怎么设置
深度学习吧
全部回复
仅看楼主
level 1
有懂的大佬高速我下,一设置 sgd 回归结果就都一样了,
2020年06月27日 11点06分 1
level 1
学习率衰减,可参照这个吧:
LR = 0.009
def scheduler(epoch):
if epoch<20:
# lr=K.get_value(model2.optimizer.lr)
K.set_value(model.optimizer.lr, 0.01)
elif epoch < 50:
K.set_value(model.optimizer.lr, 0.001)
elif epoch < 100:
K.set_value(model.optimizer.lr, 0.0001)
else:
K.set_value(model.optimizer.lr, 0.00001)
print("learning-rate: " + str(K.get_value(model.optimizer.lr)))
return K.get_value(model.optimizer.lr)
reduce_lr = LearningRateScheduler(scheduler)
adam = Adam(LR)
model.compile(optimizer=adam,
loss='binary_crossentropy',
# loss = tf.keras.losses.binary_crossentropy,
metrics=['accuracy'])
2020年06月28日 10点06分 2
level 1
好的
2020年06月29日 15点06分 3
1