关于Deepface遮罩的详细解读
deepface吧
全部回复
仅看楼主
level 8
希哎欧 楼主
之前其实36-73大神有发过遮罩的教程,只不过现在那边的贴吧已经打不开了,那么我就在这里和大家详细解说一下英文版本的教程吧。
一、认识遮罩的批处理文件
XSeg) data_dst mask - edit.bat这个文件就是打开手动绘制遮罩的运行程序。(画dst遮罩的
XSeg) data_dst mask - fetch.bat这个文件是可以把你画过遮罩的某张aligned。(画dst遮罩的
文件夹里面的图片淡定存出到一个文件夹里面(其实没用,忽略掉它。(画dst遮罩的
XSeg) data_dst trained mask - apply.bat这个文件是可以把已经训练好的遮罩数据导入至模型文件夹里面,以便于XSeg) data_src mask - edit.bat和上面同样的功能只不过这个是画src遮罩的,XSeg) data_src mask - fetch.bat和XSeg) data_src trained mask - apply.bat也是和上面同样的功能
XSeg) train.bat这个就是训练遮罩的运行程序了,不管是训练src还是dst都是点击它训练,并且它是同时训练src和dst遮罩的。
二、认识遮罩的作用
什么情况下我们需要画遮罩呢?
情况1.我们用的是WF或者F模型这样的情况额头上半部分会有一部分训练不到,那么有刘海的地方就不能替换掉,我们会选择保留刘海部分然后替换掉五官部分,这个时候我们就需要把刘海用遮罩的方法来保留下来。
情况2.我们的其中一个目标人物有眼镜,我们需要把眼镜保留或者去掉,那么我们也需要用到遮罩功能。
情况3.我们的目标人物用手捂着嘴笑或者那种麦克风甚至在吃某种水果比如黄瓜香蕉之类的,这个时候我们需要把非五官部分保留下来,那么我们就更加需要用到遮罩功能。
情况5.总之我们要替换掉或保留脸部非五官部分的东西都需要这个功能
三、遮罩的本质是什么
遮罩其实就是一个替换区域,你所绘制的区域内的东西被替换或者被保留,SRC的遮罩就是只训练画了遮罩内的内容,dst的遮罩就是只替换画了遮罩内的内容,就是你用一条封闭的多段线来告诉软件,我就训练或者替换掉我用多段线框选的内容。
四、遮罩功能的使用顺序
1.XSeg) data_dst mask - edit.bat,首先点击这个程序,在里面用他来绘制多段线。
2.XSeg) data_src mask - edit.bat,然后点击这个程序,在里面用它来绘制多段线(1和2的顺序可以调换,也可以只画其中一个,看你自己需要。
3.XSeg) train.bat,点击这个程序训练遮罩(第一次训练建议训练15分钟以上,中间用鼠标点击一下预览窗口然后偶尔按P刷新看看遮罩有没有错误
4.XSeg) data_dst(和src) trained mask - apply.bat两个都点击一次,导入训练好的数据进入模型
6.假如之前你已经训练好的模型这个时候直接合成吧,遮罩训练和五官训练两个不冲突(简单点说 train SAEHD.bat和XSeg) train.bat两个是不冲突的,它们是两个独立的训练程序,它们只在合成的时候互相影响)。合成的时候记得按X,选择到XSeg-dst模式。
好叻打字又累了本来还想举例上图的,突然有点想去打英雄联盟手游了,那么就说那么多吧,我相信评论区会有大神帮助我补充说明并且指出我的错误的,学习了那么就不如自己动手实践一次,还等什么我去上分,你去画遮罩吧。
2021年11月30日 12点11分 1
吧务
level 12
建议你做个视频教程,这样生动形象,打字看着太累 [哈哈]
2021年11月30日 14点11分 2
本来想的,没找到合适的素材,怕侵权,又懒。哈哈吧主还是你做好一点嘿嘿
2021年11月30日 14点11分
@希哎欧 就搞特朗普吧,随便搞
2021年11月30日 14点11分
叫川建国同志
2022年01月12日 11点01分
叫川建国同志
2022年01月12日 11点01分
level 5
如果合成出来的图片张开嘴里又有一圈嘴唇和牙齿,这是因为dst的素材没有把嘴巴画遮罩排除掉吗
2021年12月30日 06点12分 3
@剑寄蓝2O ��你把DST的嘴画上了排除学习的遮罩吧,把那个遮罩删除,在训练,训练好了再导入,在训练,在合成
2022年01月01日 00点01分
你保留牙齿干嘛?你src有张嘴的素材就多训练一下,训练遮罩的时候也多训练一下,30分钟不行就训练1小时2小时的遮罩训练基本很好了。
2021年12月30日 12点12分
@希哎欧 那张嘴的图片无论是src还是dst都要圈出来排除吗?
2021年12月31日 04点12分
@剑寄蓝2O 不用排除啊,用包含,src有素材的可以训练出来的
2021年12月31日 12点12分
level 3
这个遮罩是要一张张画的嘛?还是花了一张他后面会自动识别啊
2021年12月30日 23点12分 4
我另外的帖子有说明,这个是新手问题,不想再回答了。
2021年12月31日 12点12分
为什么我画了44张(目标素材1800多张),训练和apply之后再打开edit,它还是只显示那44张的遮罩,其他完全没有啊?
2023年07月24日 10点07分
@希哎欧 为什么我画了44张(目标素材1800多张),训练和apply之后再打开edit,它还是只显示那44张的遮罩,其他完全没有啊?
2023年07月24日 10点07分
@chicoluk 你用的是8.4(2019.8.4日之前的)之前的版本吧!
2023年08月09日 13点08分
level 1
合成时没有替换脸,但是低分辨率替换过一次是什么情况啊。
2022年01月05日 13点01分 5
@贴吧用户_aSNR1e3 你完全没替换,就是没有那一帧的图片,没训练够是不像或者脸变模糊。你仔细看看。我用的是复用模型,看着像就开始合成了,wf总训练次数是快500万次了。head140万了,不过head模型还不够理想还在调整。主要是观影还没克服
2022年01月07日 04点01分
而且那个抓取脸的方块图还在
2022年01月05日 13点01分
你dst文件夹里面的aligned这个文件夹没有那一帧的脸
2022年01月05日 15点01分
@希哎欧 有的,这个问题好像解决了我使用默认的分辨率后合成了 但现在合成帧上有脸的那个模糊的脸型壳子
2022年01月06日 05点01分
level 3
src大多数图片戴眼镜,dst的目标人物不戴眼镜,怎么样让src的眼镜不会出现在目标人物上?我训练了遮罩也没用,结果是眼镜位置的蒙版是黑色的,合成时特别假,还是有眼镜的残影,怎么解决这个问题?
2022年06月18日 18点06分 6
Dst可以画遮罩!src同样可以画遮罩!你有眼镜的不要用wf模型,这个适合用f模型。
2022年06月24日 12点06分
@希哎欧 就是用f模型,src画了遮罩,但学出来的还是有眼镜的残影
2022年07月03日 20点07分
@戰与甜ლ♋ 你再多画几个遮罩!把眼镜排除掉!然后按我写的方法先训练遮罩!记得检查一次遮罩,把错误的手动画上再训练!直到没有眼镜框没有显示了!
2022年07月05日 17点07分
@戰与甜ლ♋ 你的帖子不能评论!所以没人在你帖子哪里回答
2022年07月05日 17点07分
level 1
编辑遮罩显示这个是什么情况
运行 XSeg 编辑器.qt.qpa.plugin: Could not find the Qt platform plugin "windows" in "E:\BaiduNetdiskDownload\deepfake软件\DeepFaceLab0602 汉化版\10,20系显卡版本\DeepFaceLab_NVIDIA_up_to_RTX2080Ti_0602汉化版-猫之汉化\_internal\python-3.6.8\Lib\site-packages\PyQt5\Qt\plugins"This application failed to start because no Qt platform plugin could be initialized. Reinstalling the application may fix this problem.
2022年07月05日 06点07分 7
@DL0951ecnel15 1、换个和你的电脑显卡适配的版本 2、文件夹不要出现中文!不要出现!(靠,凭什么这个算常识,害我走弯路讨厌)
2023年06月29日 01点06分
主文件夹里面有一个清理垃圾的bat文件!点一下可以解决大部分无法正常启动的问题!叫什么名字我忘记了!不在工作文件夹里面!这个贴吧吧主知道!但是我就是和他语音通话找到的解决办法!你可以求助一下吧主!他记得叫什么名字!我回去看电脑应该也能找到那个bat文件
2022年07月05日 17点07分
@希哎欧 好我试试
2022年07月06日 00点07分
@贴吧用户_abSbD15 在“_internal”文件夹里面!叫“clear_local_env.bat”
2022年07月06日 11点07分
level 2
2022年07月10日 07点07分 9
大佬,第一张图是我随便画的DST遮罩编辑,然后我再点训练,出现第二张图的结果,咋回事啊?
2022年07月10日 07点07分
把预训练关了试试
2023年07月13日 03点07分
level 8
希哎欧 楼主
不知道你怎么做到呢!第一张你是画了脸吗?还是画了个乱七八糟的东西?
2022年07月11日 03点07分 10
level 1
请教一下如果目标有带口罩的话人如何操作
2022年09月04日 19点09分 11
应该切不到脸!脸需要有五官的!如果能切到脸那么就可以用遮罩来弄!
2022年09月04日 23点09分
@希哎欧 merged_mask里面是只切到了眼睛[泪]
2022年09月05日 05点09分
@贴吧用户_5XAeEKM 那就换不了啊!你可以试试手动切脸
2022年09月06日 01点09分
level 1
怎么同时换多张脸啊?
2022年10月09日 07点10分 13
刚刚打字太多不允许发!不能同时换多个脸!同时换会产生多胞胎!但是如果你用几台电脑训练,可以加速这个过程,dst里面的aligned文件夹和dst大文件夹的图片是关键。
2022年10月09日 08点10分
@贴吧用户_QK9t3RU 首先你的先把dst里面的aligned文件夹里面的脸做分类,不同的人脸放不同的文件夹,然后分别用不同的电脑开始训练,不训练的脸文件夹名字不要用aligned。
2022年10月09日 08点10分
@贴吧用户_QK9t3RU 执行merge命令的时候(合成新脸图片形式)先合成一个人的!输出图片以后把已经合成的图片复制粘贴到第二个人的dst文件夹目录下,再合成第二个脸。以此类推。再最后一个脸替换完成以后,再执行视频合成!
2022年10月09日 08点10分
@希哎欧 懂了
2022年10月11日 04点10分
level 1
大佬,这个是什么情况
2022年12月22日 04点12分 14
不好意思才看到!很久没有登陆了!消息太多看不过来,我知道现在回答你太迟了,但是我还是要告诉你,你得模型歪了,换一个src齐全一点的跑一下,再用回这个src训练基本可以解决,如果解决不了就把模型删除重新训练一个模型
2023年02月01日 17点02分
level 1
大佬我想请问一下 我的dst文件里面有遮挡的内容 比如手在脸上摸了一下 但是手并没有遮住脸的奇怪画面 我现在需要重新绘制dst文件的遮罩吗 我已经开始训练了 再绘制可以替换继续训练吗[呵呵]
2023年02月24日 05点02分 15
对于喜欢换头的有一定的影响!只是五官的一点影响都没有。
2023年02月24日 15点02分
level 1
各位大神合成的时候这是咋回事
2023年03月15日 11点03分 16
1 2 尾页