dreambooth果然只是一个微调的工具
novelai吧
全部回复
仅看楼主
level 11
我在贴吧消失这么久回来一看这吧竟然已经被和ai毫无关系的一帮人占领了,属实是没想到[喷]
其实这段时间一直再研究dreambooth,我发现对这玩意儿来说太重的任务是基本没办法进行的。
或者说太重的任务通常效果较差,训练图集应该是在300张左右是比较恰当的,最终收敛结果都比较稳定。
然后所谓微调,本质上就是使模型专注于学习一小部分概念,而概念范围越小训练难度越低成品效果也越好。
batch size和Gradient Accumulation Steps最好的设置就是1,我哪怕设置成2最终效果都和1有明显差距。
学利率和学习率优化器建议就设置为1e-6和余弦系列,设置的稍微高一点细节就完全学不到,或者说学的不像。
但是归根结底最重要的还是高品质的训练图集,无论你的参数调的再完美,不如多花点时间优化训练集。
如果你打算进行任何形式的模型训练,你90%的前期时间应该花在训练集的优化上。
因为最终训练成品效果90%以上都和训练图集质量正相关。
最后是打标建议,我推荐使用blip2和wd1.4双管齐下。
blip2可以为我们的画面提供一段准确的自然语言描述,方便我们在生成画面时使用一段自然语言提示词快速定义画面的主题结构。
也就是用【什么人在什么地方干什么事】这样一句固定的话就迅速将画面选定在一定的范围内。
然后再用wd1.4打标来为画面中各个概念进行标注,反映在实际图片生成时用来补充修饰的单个提示词。
最后放一些阶段性成果,我在生成这些图片的模型中主要是想训练的概念是【甜美少女】【服装模特】【小裙子】【洛丽塔风格】。
最终效果使我较为满意,我想要的概念都被准确的还原出来了。
2023年05月04日 01点05分 1
level 6
其实也没完全被占领,只能算瓜分,而且参与瓜分的有相当一部分是ai原住民,字词技术交流贴[欢呼]
2023年05月04日 01点05分 2
[喷]我在首页看到的所有帖子没一个和ai有关,真的哈人
2023年05月04日 01点05分
level 11
然后接下来想要摸索的是如何隐藏NSFW内容,据我所知已经有人能在sd1.5模型中通过一些训练时的特殊方法将NSFW内容进行一定程度的屏壁。
不过我还不清楚具体技术细节,但我大概有一个思路。
因为微调模型是将整个模型内所有权重同时进行微调,其中必然涉及到调整NSFW内容,而我可以针对NSFW内容进行一个特殊的专门提示词来进行训练。
我设想中最后可以达成一种如果不输入我预先设定好的一个提示词,便无法生成NSFW内容的效果。
这样的话可以有效防止模型被滥用,甚至是参与到造谣这种犯罪行为。
2023年05月04日 01点05分 3
level 8
这吧里已经没有几个交流技术的了,基本都在各种群里交流,令人感叹
2023年05月04日 02点05分 4
level 10

2023年05月04日 02点05分 5
level 5

2023年05月04日 02点05分 6
level 7
先收藏了
2023年05月04日 02点05分 7
level 9
同,几天没来,以为进错吧了[喷]
2023年05月04日 02点05分 8
level 7
dd
2023年05月04日 02点05分 9
level 1
Bdd
2023年05月04日 02点05分 11
level 1
吧已经废了
2023年05月04日 03点05分 12
level 7
确实,进吧前不少求跑和技术交流,但当我入坑ai绘画后发现怎么全是人工
整活
贴了。支持技术交流
2023年05月04日 03点05分 13
level 9
[呵呵]
2023年05月04日 03点05分 14
level 6
支持novel吧回到正轨[呵呵]
2023年05月04日 03点05分 15
level 12
大佬[真棒]
2023年05月04日 03点05分 16
1 2 3 尾页