Deepfacelab最强换脸指南基础知识介绍

很多人想要学习和了解deepfacelab换脸的知识,但又找不到合适的教程,这里我就一次性给大家讲清楚deepfacelab换脸的基础知识,让大家对deepfacelab换脸有一个全方位的了解。

一、基础介绍

deepfacelab最早是源于github上的一个开源项目,用作视频换脸,即使到了现在,它还是所有民用软件中换脸效果最好的软件。由于各种原因,deepfacelab项目在github上已经没有再更新了。即便如此,它的热度依然不减,越来越多的人加入了deepfacelab软件的研究,并且,大家在此基础上,发展了各种技术来提升换脸效果,更有个人和团队对软件进行了升级优化。可以说,大家对于deepfacelab软件的热情一直是很高涨的。
大家如此喜欢这款软件,是因为它的可玩性极强,你总能找到方法提升你的换脸效果,你也总能发现一些新奇的玩法。对比目前市面上出现的傻瓜式换脸软件,不仅效果不如deepfacelab,而且只能点那么几个按钮,玩几下就没意思了,可玩性跟deepfacelab没法比。而且,如果想做商业应用的话,只有deepfacelab一个选项。
软件根据不同显卡进行了优化,大家根据自己的电脑显卡类型,下载相应的版本即可。
如果你不知道自己电脑显卡的型号,可以按照下面的操作,去查看一下:
右键“此电脑”,点击“属性”
Deepfacelab最强换脸指南基础知识介绍
Deepfacelab最强换脸指南基础知识介绍
Deepfacelab最强换脸指南基础知识介绍
另外,原作者也同时开发了deepfacelive软件,用来进行实时的直播换脸,配套deepfacelab使用。

二、换脸逻辑(模型换脸)

deepfacelab软件的逻辑是这样的,使用deepfacelab软件进行换脸,不管是图片换脸、视频换脸还是直播换脸,都需要“模型”,这个模型是提前炼制好的,每个模型只能换一个人的脸。比如你自己炼了“沙僧”的模型,那么你就可以用“沙僧”模型把任意人物头像换成“沙僧”,把任意一个视频换成“沙僧”,把任意一个正在直播的主播换成“沙僧”,想怎么换就怎么换。
但是如果你想把主播换成“唐僧”,那么不好意思,你还需要再去炼制一个“唐僧”的模型,一个模型只能换一张脸
所以,每换一个形象,都要炼一个对应的模型,这个操作确实是有点麻烦,但是这个模型一旦炼出来了,你就可以永久性的使用,因为软件本身是免费的,模型炼好了就是你自己的,所以炼模型是一劳永逸的事情。
另外,优质的deepfacelab模型的换脸效果,在所有换脸软件中,是独一档的存在,不论从自然度还是真实度,都是其它软件没法比的。
在这两个优点的加持下,炼制模型就变的不那么麻烦了,反而显得很划算。

三、模型的炼制和使用

我们已经知道了deepfacelab换脸需要模型,模型又需要炼制,那么这些都是怎么实现的呢?

1.模型的炼制

首先,我们讲一下换脸模型的炼制:
deepfacelab炼制模型的过程和现在大火的chatgpt模型训练的本质是一样的,都是机器学习,只不过是大家用的是不同的算法架构。
所有的机器学习,都需要输入大量的数据,通过一定的算法,进行一段时间的训练,得到能解决特定问题的模型。
chatgpt的训练需要大量文本数据,而deepfacelab换脸模型的训练,则需要很多人脸图的数据。当然,我们需要的数据量和chatgpt差的不是一点点,我们只需要几万张图片就足够训练出一个好的换脸模型了。
比如说你想要换“沙僧”的脸,那么你就要去收集沙僧的面部图片素材,收集好了之后,再用软件内置的工具,对素材进行特征提取、优化的处理,得到可用于训练的素材格式。下面就是素材处理前后的对比,只有处理后的图片才能用作训练。
Deepfacelab最强换脸指南基础知识介绍
我们把“沙僧”的素材叫做SRC,也就是源脸素材。
如果想把“沙僧”的脸换到你的脸上,那么你自己的脸的素材叫做DST,也就是目标脸素材。
当我们收集好了这两份素材之后,我们把这两份素材分别放到deepfacelab软件中,workspace下对应的data_dst,data_src文件夹中。
Deepfacelab最强换脸指南基础知识介绍
这样我们就可以开始模型的训练了(当然,大部分时候,DST素材我们会选用10万张人脸数据集,而不是你的脸的数据,这样训练出来的模型,对于任何人的脸都有很强的适配性。你可以换沙僧的脸,你随便拉一个朋友同样也可以换沙僧的脸)
但是,如果没有一些技巧的话,你会发现,训练一个模型可能需要一个月甚至几个月的时间,非常痛苦。
那么有没有更快的方案呢?当然有!
丹友们发现,如果有个仙丹打底的话,模型训练时间可以大大缩短,从原本的几个月缩短为几天。也由此衍生出了各种极品丹药、各路炼丹义士以及收藏行家,市面上各种各样的仙丹层出不穷,好的坏的鱼龙混杂,这也是deepfacelab一个非常好玩的地方,炼丹变成了江湖。
好了,当我们收集好了SRC和DST素材,并从某道友手中购得仙丹一枚,那么就可以进行模型训练了。经历各种参数的调节、各种失败的尝试之后,你终于练出了成品模型。
那么接下来的问题是,你该怎么去用呢?

2.模型的使用

我们之前说过,deepfacelab换脸模型可以用来进行,图片换脸、视频换脸以及实时直播换脸。这里就需要用到我们的第二个软件,也就是deepfacelive。
deepfacelab和deepfacelive两个软件的关系是这样的
  • deepfacelab用来炼制换脸模型
  • deepfacelive用来进行实时视频或直播换脸
deepfacelab是一个炼丹炉,炼好的丹(也就是模型),放到deepfacelive里面使用,就可以进行视频或直播换脸了。
具体该怎么操作呢?

1) 图片和视频换脸

双击这里,打开deepfacelive
Deepfacelab最强换脸指南基础知识介绍
点击左上角的“文件源”
Deepfacelab最强换脸指南基础知识介绍
选择“图片文件夹”或“视频文件”,这里以“视频换脸”为例讲解,我们选择“视频文件”
Deepfacelab最强换脸指南基础知识介绍
点击这里:
Deepfacelab最强换脸指南基础知识介绍
选择想要进行换脸的视频
Deepfacelab最强换脸指南基础知识介绍
在这里选择我们想要换脸的模型,我选择的是“小丑”模型
Deepfacelab最强换脸指南基础知识介绍
就可以得到换脸前后的画面
Deepfacelab最强换脸指南基础知识介绍
在这里选择合成后的画面
Deepfacelab最强换脸指南基础知识介绍
就得到了实时的预览窗口
Deepfacelab最强换脸指南基础知识介绍
这样就成功的进行了视频换脸
下面是换脸前后的对比:
Deepfacelab最强换脸指南基础知识介绍
当然,如果你追求更好的视频换脸效果,deepfacelab软件内置了视频换脸的程序,我们同样可以通过deepfacelab的操作来进行高精度的、复杂场景的视频换脸。由于这块有点复杂,这里我就先不详细说了,后面有专门的教程来讲怎么进行视频换脸。

2) 直播换脸

想要直播换脸,同样的双击这里,打开deepfacelive软件
Deepfacelab最强换脸指南基础知识介绍
关闭上面的“文件源”,打开下面的“摄像机源”,把视频换脸的视频源,切换成你电脑上的摄像头。
Deepfacelab最强换脸指南基础知识介绍
在“设备序号”这里选择你的电脑摄像头
Deepfacelab最强换脸指南基础知识介绍
可以调节这里的“分辨率”,来控制换后画面窗口的大小
Deepfacelab最强换脸指南基础知识介绍
如果你的电脑显卡一般,这里的分辨率不建议调太高,大家根据实际情况进行调节
然后,在这些地方选择你电脑的显卡,不要选择cpu
Deepfacelab最强换脸指南基础知识介绍
其它的参数保持和我这张图里的一样
在人脸交换器这里选择你要换的模型,比如这里我选择的是“小丑”模型
Deepfacelab最强换脸指南基础知识介绍
在视频流输出这里,选择“合成后的画面”,点开“窗口显示”,就可以得到实时直播换脸的效果
Deepfacelab最强换脸指南基础知识介绍
我们可以用OBS等直播工具,采集这个窗口,推流到相应的直播平台,就可以进行实时的直播换脸了。
看到这里,我相信你已经对deepfacelab和deepfacelive软件的原理和使用方法有了大概得了解,当然还有很多细节我没办法一次性讲清楚,之后会持续更新相应教程。
滚动至顶部