Pretrain参数是20190501版本才加入的参数,作者加入这个参数的目的应该是提升模型的训练速度和增强适应性。具体有哪些提升,需要大家去摸索,我这里分享一下自己的使用过程。
这个参数仅针对SAE模型,并且只有在第一次启动的时候可以配置,配置完之后,一旦中断训练之后,这个预训练环节就结束了。
上图为预训练的效果图,这个界面红红绿绿配上灰色,看起来还挺好看。
除了颜色上的差别之外,看起来和平时的训练并没有什么差别。但是根据作者的描述,以及我们自己的验证,有些模型文件在预训练阶段并不更新。
具体的文件是LIAE模型: inter_AB.h5, DF模型: encoder.h5.
为什么要这样? 我…不知道啊…
想要结束预训练,只要关闭就行了。下载再次启动就是正常模式了。
用软件自带的素材,训练一段时间后的效果如上。
然后又换了一套素材,又跑了10000多个迭代。从预览图来看效果还可以。