[发明专利]一种手绘风格非对齐人脸迁移方法、设备、介质和系统

权利要求书

1.一种手绘风格非对齐人脸迁移方法，其特征在于，包括如下步骤：

获取手绘风格的人像图像；

将所述人像图像中的人脸关键点所在区域置于所述人脸图像的中央，再对人脸关键点所在区域进行多次随机平移得到多张非对齐手绘风格人脸图像，将所述多张非对齐手绘风格人脸图像进行归一化处理后得到手绘风格的非对齐人脸数据集；

获取非对齐真实人脸数据集，并在所述非对齐真实人脸数据集上预训练防信号混叠生成器，以获得非对齐真实人脸生成器；

将所述手绘风格的非对齐人脸数据集用于微调非对齐真实人脸图像生成器得到目标手绘风格人脸图像生成器；

将所述非对齐真实人脸图像生成器与目标手绘风格人脸图像生成器进行参数融合，得到融合后的目标手绘风格人脸图像生成器；

将所述非对齐的真实人脸图像生成器前接编码器，并采用LPIPS损失、对抗损失、以及L₂偏移量正则项，在非对齐的真实人脸数据集上训练得到非对齐的真实人脸图像编码器；

将非对齐的真实人脸图像输入到训练好的编码器，生成风格编码，将所述风格编码输入目标手绘风格人脸图像生成器生成非对齐手绘风格细节。

2.如权利要求1所述的手绘风格非对齐人脸迁移方法，其特征在于，在获取手绘风格的人像图像步骤之后还包括如下步骤：

使用人脸关键点检测模型检测所述人像图像组成的数据集中的目标风格人像数据中的人脸关键点，获得每个人脸的人脸关键点坐标。

3.如权利要求1所述的手绘风格非对齐人脸迁移方法，其特征在于，所述归一化处理具体包括如下步骤：

对于超出人脸关键点所在区域的人脸部位，采用镜像补全将像素补齐；

采用插值算法将所述非对齐手绘风格人脸图像的分辨率统一、像素值归一化。

4.如权利要求1-3任一项所述的手绘风格非对齐人脸迁移方法，其特征在于，将所述非对齐真实人脸图像生成器与目标手绘风格人脸图像生成器进行参数融合的融合方式具体为：

；

其中、、为、、的参数，为分辨率层数，是网络层数的索引，是权重。

5.如权利要求1-3任一项所述的手绘风格非对齐人脸迁移方法，其特征在于，所述编码器的训练步骤如下：

建立与生成器结构相对应的编码器；

为所述编码器输入非对齐的真实人脸图像，输出包括一个基准风格编码w_base以及与生成器风格生成模块数量相对应的风格编码偏移量△w；

将基准风格编码w_base与风格编码偏移量△w相加，分别输入给生成器的所有风格生成模块；

对所述编码器与非对齐真实人脸图像生成器采用对抗损失、LPIPS损失、以及L₂偏移量正则项损失约束。

6.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5任一项所述的手绘风格非对齐人脸迁移方法。

7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求1至5任一项所述的手绘风格非对齐人脸迁移方法的步骤。