模型是什么?
模型是换脸的核心,合成效果好不好,核心是模型,关键是素材!
通俗的说,模型就是前面基础教程里讲到的,训练过程中产生的数据。
如果你自己训练模型,需要从0开始,模型训练时间一般在半个月到一个月之间,也就是说你需要24小时挂机不停的训练模型,经过半个月到一个月的时间后,直到达到可以合成视频的效果为止。
但你也可以使用现成的模型,这些模型都是别人从0开始训练一个月甚至更长的时间训练好的。你可以直接拿来用,这样就省去了从0训练模型这半个月到一个月的时间,素材充足的话,你只要花费半个小时到几个小时的时间就可以直接合成视频了。模型可以替换任意素材使用,不分张三李四。
这就是模型的用途,也是模型最便利的地方,如果不想自己从0训练模型,可以到网站下载
一张图来对比下,不使用模型自己从0训练,和使用模型的效果。
模型后如何使用模型?
DeepFace的模型并非一对一,比如用张三和李四训练只能用在张三和李四的换脸上。你可以替换任意素材,然后继续训练一段时间,把自己或者别人的模型直接拿来用就是“模型复用”了。
模型复用的操作其实很简单。
1. 准备好自己的素材,把人脸提取好。
2. 把复用模型的文件放到软件目录下的workspace/model下面。
3. 训练一段时间,几十分钟或者几个小时。
4. 应用模型 ,合成视频。
其实和常规的训练合成流程没啥差别,只是复用的时候用训练好的模型,可以加速学习,减少学习时间,快速合成。
如何关闭训练?
直接点击右上角X关闭,注意关闭预览窗口并不会停止训练。关闭黑色的命令行窗口才会结束。推荐的关闭方式是点击预览窗口按回车Enter,这样可以保存进度并结束。直接叉掉会丢失一点点进度。
如何保存进度?
点击预览窗口,按键盘上的S会保存进度,按Enter会保存进度并立马结束训练。
如何创建备份?
点击预览窗口按B可直接备份当前模型,备份的模型会单独保存在_autobackups文件夹下面,按一次保存一个备份。
如何继续训练?
再次点击第六步 训练SAEHD,选择模型,选择设备,就可以继续训练了。训练的过程要避免意外中断,如果刚好在自动保存模型的时候突然关机了会损坏模型。
下载网盘文件 df-128模型 压缩包
下载后,依次打开软件目录下的 workspace – model
全选,删除所有文件
复制df-128模型 压缩包到 model 目录下,并解压到当前目录,解压后model目录下不要有文件夹。解压后如图所示
解压后执行第七步 7) 应用 SAEHD merge SAEHD
这样可以免训练直接练习合成这一步操作了。
模型常见的几个参数:
模型分辨率:
模型分辨率,就是模型训练学习人脸区域,简单来说就是能换的人脸大小。模型分辨率常见的有128,256,288,320,384,448,512,640。如下图
模型分辨率一般在首次创建模型提供选择,如下图
模型分辨率这个参数创建后无法修改,首次创建可以根据自己的显卡输入适合你显卡训练的参数。等下把常见的显存和对应能训练的模型分辨率推荐给大家做参考。默认是128,你可以根据自己的显卡设置不同的分辨率,比如256。
常见显存推荐模型分辨率
4G显存 推荐 128 6G显存 推荐256
8G显存 推荐288 10G显存 推荐320
12G显存 推荐320,384 16G显存 推荐448
24G显存 推荐512
以上参数为实际测试中效果和速度最适宜的参数,并非最终极限。24G推荐512,并非代表只能玩512分辨率模型,512以下的都是可以的,也就是说向下兼容。
至于使用多大的模型,还要取决于你的素材,下面以两张图来来演示
一般情况下,远景使用128分辨率左右的就足矣。中景稍微大点的使用256的,特写基本要448-512甚至是640了。不建议用512换远景素材,虽然512换近景完全没问题,但是512跑起来费时间(打个比方,你要挖个坑种树,请来一辆挖掘机一样。完全可以用铁铲的),所以完全没必要。反之,也不建议用128换中景或者近景特写,模型分辨率不够,会出现糊的情况。如下图:
另一个常见的参数,Batch Size 中文翻译为 批量大小。如下图
首次创建模型会默认是8,如果创建模型后报错,可以X掉,返回重新运行第六步 训练SAEHD,修改这个参数,比如改成4。
后期也可以根据需要修改批量大小,在训练模型这一步,选择模型和显卡后,根据提示“两秒内按回车修改参数” 迅速按下回车键修改。
这个参数并非越大越好,而是根据需要增加和减小。前期建议默认,后期损失值降不下去的时候,在硬件设备允许的情况下加大这个参数。
。。。。。。
其余参数后期会根据需要更新,新手暂时了解这两个就可以了。