很绝望,炼画风lora过拟合但不够还原
stablediffusion吧
全部回复
仅看楼主
level 7
我知道过拟合和不还原听起来很矛盾,但是事情是这样的:
我训练的lora一共200个epoch,炼到50就开始逐渐有我训练集的特征了,到130开始逐渐出现过拟合的炸图现象,经测试取效果最稳定而突出的epoch110。现在我烦恼的就是即便是这个效果最好的110距离我训练集的风格也是有明显的差距:lora的光影和色彩线条已经很像我的训练集了,但是其面部特点依然偏向那种IL模型默认的大众画风,画角色体型也是默认的二次元少女身材而不是我训练集里那种高挑成熟的风格。
试过换训练模型,试过调步数,试了十几炉了但都没有用,我已经万策尽矣,有无炼丹高手指点一二[泪][泪][泪]
2026年08月04日 10点08分 1
level 7
二楼说下我默认一些关键训练参数:训练集60张(20张1216*832,20张1024*1024,20张832*1216),2repeat,epoch200,batch4梯度5,优化器prodigy,lokr_factor=8
现在我有点怀疑是不是我等效batch高了导致泛化太严重了🤔
2026年08月04日 10点08分 2
level 10
没加正则数据集,权重渗透到其他标签里面去了,我敢肯定你这个lora加不加触发词效果都不会变化太大,本来触发词分到的权重都被其他tag分走了,所以风格很不明显,算是tag训练画风的老毛病了。
你自己用你数据集的caption.txt作为prompt,然后用base model生成图片作为reg数据集就行了,生成过程中不要添加质量提示词和negative,就直接使用你打标的prompt+base model生成,然后就得到一个和你数据集1:1复刻的reg数据集。reg数据集使用和训练集同样的caption即可,区别只在于开头没有触发词。
另外lokr我不建议用太多epoch训练,很容易过拟合,c站我用的画风lora凡是用lokr训练的大部分存在过拟合现象,特点之一就是只要prompt不变,无论怎么改seed人物都是同一个动作,变化很小,泛用性不强。
2026年08月04日 11点08分 3
我靠好方略啊,之前一直只把正则化当成防过拟合的工具从来没有考虑过可以纠正欠拟合,大佬一点我如茅塞顿开,这就去试试!
2026年08月04日 14点08分
@佩林纳尔如是说 本质上来说你这个也是过拟合,只不过它过拟合的方式和你预想的不一样。画风训练一般是让触发词吸收大部分的权重,最理想的情况下是不使用触发词时lora的表现要和没用lora时一样,但因为ai训练偷懒把权重藏到其他tag里面去了,就好比虽然9+1 = 10,1+9也等于10,我们希望的是触发词占9,其他tag占1,但过拟合后是触发词占1其他tag占9,虽然对ai来说最后都是10,它以为它完成任务了,但效果不是你想要的。
2026年08月04日 14点08分
话说人物lora是不是也可以这样弄正则数据集,用底模生成对照图
2026年08月05日 03点08分
@耶合鸟没有鸽▫ 人物lora没啥必要,就算权重渗透进tag里面也没关系,就比如你练人物服装有red skirt,权重渗透进red skirt导致这个red skirt样式变得固定,这就是你想要的效果。但画风不一样,如果权重渗透进red skirt,那么当你用miniskirt生成时这个画风就会减弱或者干脆不存在。归根结底在于,用画风lora出图时提示词设计非常广泛,只有权重集中在触发词时才能够在这么广泛的提示词下仍然保持画风稳定。但人物lora就集中在那几个特征提示词上,所以权重集中在个别tag上无伤大雅,倒不如说是好事,这样可以避免你的人物lora污染其他的人物lora。
2026年08月05日 03点08分
level 7
欸!🤓☝️️我用被质量提示词影响的版本再生成一套正则化训练集不就可以避免影响了吗
2026年08月05日 10点08分 4
楼主效果怎么样
2026年08月07日 15点08分
@-KKoishi- 受质量提示词的影响减少了,但受光影和特效的提示词影响依然存在,最后靠简单粗暴地拉高lora强度凑合用了(
2026年08月08日 01点08分
level 1
prodigy可以换成其他的比如came rex,手动清洗过一遍tag,挑个好点的低模,我用的是chenkin。猛练效果就很好了。
2026年08月08日 02点08分 5
1