这是圈内流传的一份“攻略”,国外玩家整理的。
不适合新手,需要提升的可以参考下,有点教条化,完全跟着走可能会走火,所以根据自己的情况来定,参考下就行了,可能对你的模型训练有所提升。
前提条件是你的src素材质量非常高,否则不要用这个“攻略”,不然会炸丹。
参数开关 | 第一阶段 | 第二阶段 | 第三阶段 | 第四阶段 | 第五阶段 | 第六阶段 | 第七阶段 | 第八阶段 | 完成阶段 | |
SRC随机反转:Flip SRC faces randonly (不太建议使用) | 关闭 | 关闭 | 关闭 | 关闭 | 关闭 | 关闭 | 关闭 | 关闭 | 关闭 | |
DST随机反转:Flip Dst faces randomly (素材较少时建 常开) | 开启 | 开启 | 开启 | 开启 | 开启 | 开启 | 开启 | 开启 | 开启 | |
批量大小:Batch Size(如模型崩溃,请尝试降低此参数至正常运行) | 4/8 | 8/16 | 8/16 | 8/16 | 8/16 | 8/16 | 8/16 | 推荐16 | 8/16 | |
训练遮罩:Masked training (建议全程开启) | 开启 | 开启 | 开启 | 开启 | 开启 | 开启 | 开启 | 开启 | 开启 | |
眼嘴优先:Eyes and mouth priority | 关闭 | 开启 | 关闭 | 关闭 | 关闭 | 开启 | 关闭 | 关闭 | 开启 | |
侧脸优化:Uniform yaw distribution of samples | 关闭 | 关闭 | 开启 | 开启 | 关闭 | 关闭 | 开启 | 关闭 | 开启 | |
遮罩边掾模糊:Blur out mask (建议中后期开启) | 关闭 | 关闭 | 关闭 | 关闭 | 开启 | 开启 | 开启 | 关闭 | 开启 | |
模型和优化器放GPU上: Place models and optimizer on GPU
|
开启 | 开启 | 开启 | 开启 | 开启 | 开启 | 开启 | 开启 | 开启 | |
AB优化器:Use AdaBelief optimizer (建议全程开启)
|
开启 | 开启 | 开启 | 开启 | 开启 | 开启 | 开启 | 开启 | 开启 | |
学习率下降:Use learning rate dropout
|
关闭 | 关闭 | 关闭 | 开启 | 关闭 | 关闭 | 关闭 | 开启 | 关闭 | |
随机扭曲:Enable random warp of samples
|
开启 | 开启 | 开启 | 开启 | 关闭 | 关闭 | 关闭 | 关闭 | 关闭 | |
随机色调/饱和度/光强度
|
关闭 | 关闭 | 关闭 | 关闭 | 0.01 | 0.01 | 0.01 | 关闭 | 关闭 | |
Gan强度:GAN power(容易崩溃,跑出想要效果后及时关闭)
|
关闭 | 关闭 | 关闭 | 关闭 | 关闭 | 关闭 | 关闭 | 0.01 | 关闭 | |
真睑强度: ‘True face’ power
|
关闭 | 关闭 | 关闭 | 关闭 | 0.01 | 0.01 | 0.01 | 关闭 | 关闭 | |
背景强度:Background style power
|
关闭 | 关闭 | 关闭 | 关闭 | 0.01 | 0.01 | 0.01 | 关闭 | 0.01 | |
颜色转换模式:Color transfer for src faceset
|
none | none | none | none | rct/lct | rct/lct | rct/lct | rct/lct | rct/lct | |
梯度剪裁:Enable gradient clipping | 开启 | 开启 | 开启 | 开启 | 开启 | 开启 | 开启 | 开启 | 开启 | |
预训练(无需开启) | 关闭 | 关闭 | 关闭 | 关闭 | 关闭 | 关闭 | 关闭 | 关闭 | 关闭 | |
阶段转换条件,主要看预压窗口效果建议每次调整参数前都先备份好模型文件 | loss<0.3或 | loss极慢或不降反升 | loss<0.3或 不降反升 |
loss<0.1或 不降反升 |
loss极慢或 不降反升 |
loss极慢或 不降反升 |
loss极慢或不降反升 | 注意备份 至少2-3W |
||
不降反升 |
第一快速成型阶段:
开启:遮罩训练:Masked training
开启或关闭:SRC随机反转:Flip SRC faces randomly,(SRC素材不足的开,足够的和有脸部特征,比如美人痣之类的不要开SRC反转。)
开启:DST随即反转:Flip DST faces randomly
BS值:推荐4或8(根据实际情况而定)
关闭:眼嘴优先:Eyes and mouth priority
关闭:侧脸优化 Uniform yaw distribution of samples
关闭:模糊遮罩边缘Blur out mask
开启:模型和优化器运行在GPU上:Place models and optimizer on GPU
开启:启用 AdaBelief 优化器?:Use AdaBelief optimizer?
关闭:学习率下降 Use learning rate dropout
开启:样本随机扭曲:Enable random warp of samples
关闭:随机色调/饱和度/光强度(这段没英文,不知道英文名称按照本人的开启顺序即可)选择值:0
关闭:GAN强度 GAN power 选择值:0
关闭:真脸强度 True face’ power 选择值:0
关闭:背景风格强度 Background style power 选择值:0
关闭:颜色转换模式 Color transfer for src faceset 选择值:none
开启:梯度剪裁:Enable gradient clipping
关闭:启用预训练
loss值达到0.4-0.5或者有时间和条件的可以训练的更低至0.1,并模型自动保存3-4次时的loss值显示下降速度很慢,或者反弹时可以停止。
第二精确处理阶段:
开启:遮罩训练:Masked training
开启或关闭:SRC随机反转:Flip SRC faces randomly,SRC有脸部特征,比如美人痣之类的不要开SRC反转
开启:DST随即反转:Flip DST faces randomly
BS值:推荐8或16(根据实际情况而定)
开启:眼嘴优先:Eyes and mouth priority
关闭:侧脸优化 Uniform yaw distribution of samples
关闭:模糊遮罩边缘Blur out mask
开启:模型和优化器运行在GPU上:Place models and optimizer on GPU
开启:启用 AdaBelief 优化器?:Use AdaBelief optimizer?
关闭:学习率下降 Use learning rate dropout
开启:样本随机扭曲:Enable random warp of samples
关闭:随机色调/饱和度/光强度(这段没英文,不知道英文名称按照本人的开启顺序即可)选择值:0
关闭:GAN强度 GAN power 选择值:0
关闭:真脸强度 True face’ power 选择值:0
关闭:背景风格强度 Background style power 选择值:0
关闭:颜色转换模式 Color transfer for src faceset 选择值:none
开启:梯度剪裁:Enable gradient clipping
关闭:启用预训练
保持参数训练loss值降的很少,或反弹停止
第三精确处理阶段:
开启:遮罩训练:Masked training
开启或关闭:SRC随机反转:Flip SRC faces randomly,SRC有脸部特征,比如美人痣之类的不要开SRC反转
开启:DST随即反转:Flip DST faces randomly
BS值:推荐8或16(根据实际情况而定)
关闭:眼嘴优先:Eyes and mouth priority
开启:侧脸优化 Uniform yaw distribution of samples
关闭:模糊遮罩边缘Blur out mask
开启:模型和优化器运行在GPU上:Place models and optimizer on GPU
开启:启用 AdaBelief 优化器?:Use AdaBelief optimizer?关闭:学习率下降 Use learning rate dropout
开启:样本随机扭曲:Enable random warp of samples
关闭:随机色调/饱和度/光强度(这段没英文,不知道英文名称按照本人的开启顺序即可)选择值:0
关闭:GAN强度 GAN power 选择值:0
关闭:真脸强度 True face’ power 选择值:0
关闭:背景风格强度 Background style power 选择值:0
关闭:颜色转换模式 Color transfer for src faceset 选择值:none
开启:梯度剪裁:Enable gradient clipping
关闭:启用预训练
训练loss值降到0.3及以下,或降的很少或反弹,停止。
第四精确处理阶段:
开启:遮罩训练:Masked training
开启或关闭:SRC随机反转:Flip SRC faces randomly,SRC有脸部特征,比如美人痣之类的不要开SRC反转
开启:DST随即反转:Flip DST faces randomly
BS值:推荐8或16(根据实际情况而定)
关闭:眼嘴优先:Eyes and mouth priority
开启:侧脸优化 Uniform yaw distribution of samples
关闭:模糊遮罩边缘Blur out mask
开启:模型和优化器运行在GPU上:Place models and optimizer on GPU
开启:启用 AdaBelief 优化器?:Use AdaBelief optimizer?
开启:学习率下降 Use learning rate dropout
开启:样本随机扭曲:Enable random warp of samples
关闭:随机色调/饱和度/光强度(这段没英文,不知道英文名称按照本人的开启顺序即可)选择值:0
关闭:GAN强度 GAN power 选择值:0
关闭:真脸强度 True face’ power 选择值:0
关闭:背景风格强度 Background style power 选择值:0
关闭:颜色转换模式 Color transfer for src faceset 选择值:none
开启:梯度剪裁:Enable gradient clipping
关闭:启用预训练
训练loss值降到0.1及以下,或降的很少或反弹,停止。
第五精确优化阶段:
这时loss值已经下降很慢,或者下降不下去并且看起来不足够像SRC,进行这一步
开启:遮罩训练:Masked training
开启或关闭:SRC随机反转:Flip SRC faces randomly,SRC有脸部特征,比如美人痣之类的不要开SRC反转
开启:DST随即反转:Flip DST faces randomly
BS值:推荐8或16(根据实际情况而定)
关闭:眼嘴优先:Eyes and mouth priority
关闭:侧脸优化 Uniform yaw distribution of samples
开启:模糊遮罩边缘Blur out mask
开启:模型和优化器运行在GPU上:Place models and optimizer on GPU
开启:启用 AdaBelief 优化器?:Use AdaBelief optimizer?
关闭:学习率下降 Use learning rate dropout
关闭:样本随机扭曲:Enable random warp of samples
开启:随机色调/饱和度/光强度(这段没英文,不知道英文名称按照本人的开启顺序即可) 推荐0.01
关闭:GAN强度 GAN power 选择值:0
开启:真脸强度 True face’ power 推荐值:0.01
开启:背景风格强度 Background style power 推荐值:0.01
开启:颜色转换模式 Color transfer for src faceset 推荐值:rct或lct
开启:梯度剪裁:Enable gradient clipping
关闭:启用预训练
(此阶段开启:模糊遮罩边缘Blur out mask和背景风格强度 Background style power是因为开启了:真脸强度 True face’ power,如果RSC脸型没有DST脸大,就会出现SRC脸下巴,下面又有个DST的下巴,或者SRC侧脸边上又有个DST的侧脸。开启这两个参数,会让融合的更好。)
此阶段loss值下降过慢或下不去后停止
第六精确优化阶段:
开启:遮罩训练:Masked training
开启或关闭:SRC随机反转:Flip SRC faces randomly,SRC有脸部特征,比如美人痣之类的不要开SRC反转
开启:DST随即反转:Flip DST faces randomly
BS值:推荐8或16(根据实际情况而定)
开启:眼嘴优先:Eyes and mouth priority
关闭:侧脸优化 Uniform yaw distribution of samples
开启:模糊遮罩边缘Blur out mask
开启:模型和优化器运行在GPU上:Place models and optimizer on GPU
开启:启用 AdaBelief 优化器?:Use AdaBelief optimizer?
关闭:学习率下降 Use learning rate dropout
关闭:样本随机扭曲:Enable random warp of samples
开启:随机色调/饱和度/光强度(这段没英文,不知道英文名称按照本人的开启顺序即可) 推荐0.01
关闭:GAN强度 GAN power 选择值:0
开启:真脸强度 True face’ power 推荐值:0.01
开启:背景风格强度 Background style power 推荐值:0.01
开启:颜色转换模式 Color transfer for src faceset 推荐值:rct或lct
开启:梯度剪裁:Enable gradient clipping
关闭:启用预训练
此阶段loss值下降过慢或下不去后停止
第七精确优化阶段:
开启:遮罩训练:Masked training
开启或关闭:SRC随机反转:Flip SRC faces randomly,SRC有脸部特征,比如美人痣之类的不要开SRC反转
开启:DST随即反转:Flip DST faces randomly
BS值:推荐8或16(根据实际情况而定)
关闭:眼嘴优先:Eyes and mouth priority
开启:侧脸优化 Uniform yaw distribution of samples
开启:模糊遮罩边缘Blur out mask
开启:模型和优化器运行在GPU上:Place models and optimizer on GPU
开启:启用 AdaBelief 优化器?:Use AdaBelief optimizer?
关闭:学习率下降 Use learning rate dropout
关闭:样本随机扭曲:Enable random warp of samples
开启:随机色调/饱和度/光强度(这段没英文,不知道英文名称按照本人的开启顺序即可) 推荐0.01
关闭:GAN强度 GAN power 选择值:0
开启:真脸强度 True face’ power 推荐值:0.01
开启:背景风格强度 Background style power 推荐值:0.01
开启:颜色转换模式 Color transfer for src faceset 推荐值:rct或lct
开启:梯度剪裁:Enable gradient clipping
关闭:启用预训练
此阶段loss值下降过慢或下不去后停止
第八精细处理阶段:
开启:遮罩训练:Masked training
开启或关闭:SRC随机反转:Flip SRC faces randomly,SRC有脸部特征,比如美人痣之类的不要开SRC反转
开启:DST随即反转:Flip DST faces randomly
BS值:推荐16(根据实际情况而定)
关闭:眼嘴优先:Eyes and mouth priority
关闭:侧脸优化 Uniform yaw distribution of samples
关闭:模糊遮罩边缘Blur out mask
开启:模型和优化器运行在GPU上:Place models and optimizer on GPU
开启:启用 AdaBelief 优化器?:Use AdaBelief optimizer?
开启:学习率下降 Use learning rate dropout
关闭:样本随机扭曲:Enable random warp of samples
关闭:随机色调/饱和度/光强度(这段没英文,不知道英文名称按照本人的开启顺序即可) 选择值:0
开启:GAN强度 GAN power 推荐值:0.01
关闭:真脸强度 True face’ power 选择值:0
关闭:背景风格强度 Background style power 选择值:0
开启:颜色转换模式 Color transfer for src faceset 推荐值:rct或lct
开启:梯度剪裁:Enable gradient clipping
关闭:启用预训练
此阶段注意备份,以免崩溃。代送次数最少2W-3W,根据实际情况而定
完成阶段:
所有阶段完成后平时换视频使用以下参数
开启:遮罩训练:Masked training
开启或关闭:SRC随机反转:Flip SRC faces randomly,SRC有脸部特征,比如美人痣之类的不要开SRC反转
开启:DST随即反转:Flip DST faces randomly
BS值:推荐8或16(根据实际情况而定)
开启:眼嘴优先:Eyes and mouth priority
开启:侧脸优化 Uniform yaw distribution of samples
开启:模糊遮罩边缘Blur out mask
开启:模型和优化器运行在GPU上:Place models and optimizer on GPU
开启:启用 AdaBelief 优化器?:Use AdaBelief optimizer?
关闭:学习率下降 Use learning rate dropout
关闭:样本随机扭曲:Enable random warp of samples
开启:随机色调/饱和度/光强度(这段没英文,不知道英文名称按照本人的开启顺序即可)选择值:0.01
关闭:GAN强度 GAN power 选择值:0
关闭:真脸强度 True face’ power 选择值:0
开启:背景风格强度 Background style power 选择值:0.01
开启:颜色转换模式 Color transfer for src faceset 选择值:rct或lct
开启:梯度剪裁:Enable gradient clipping
关闭:启用预训练