[发明专利]基于对抗性生成和神经辐射场的脸谱表情迁移方法

权利要求书

1.一种基于对抗性生成和神经辐射场的脸谱表情迁移方法，其特征在于由以下步骤组成：

(1)建立民俗文化人脸谱数据集

1)从网上获取公开的人脸谱图像，将图片保存为网络图形格式，将人脸谱图像裁剪成正方形，调整图片大小为256×256像素，进行灰度处理；

2)对脸谱图像进行手动关键点标注，建立民俗文化人脸谱图像数据集Y，Y∈{a_n,b_n,c_i,d_n,e_n}，其中a_n表示存储关键点的编号，a_n∈{1,2,...,27200}，b_n表示该关键点所属图片编号，b_n∈{1,2,...,400}，c_i表示该关键点名称，c_i∈{1,2,...,64}，d_n表示该关键点的横坐标，d_n∈{1,2,...,256}，e_n表示关键点的纵坐标，e_n∈{1,2,...,256}；采用人脸关键点标注法对脸谱图像进行标注，将关键点数据转化成字符分隔值格式存储；

3)划分训练集、验证集、测试集

将脸谱图像分80％作为训练集，15％作为验证集，5％作为测试集；

(2)构建民俗文化迁移网络

民俗文化迁移网络由堆叠沙漏网络与对抗性生成网络、神经辐射场网络依次串联构成；

所述的堆叠沙漏网络由68个依次串联的沙漏子模块构成；

所述的对抗性生成网络由映射网络与生成网络串联构成，映射网络由8个依次串联的全连接层构成；生成网络由卷积核大小为3×3、填充大小是1、步长大小为1的卷积模块构成；

所述的神经辐射场网络由8层依次串联的全连接层组成；

(3)训练堆叠沙漏网络

1)确定堆叠沙漏网络的目标函数

按下式确定堆叠沙漏网络的损失函数MSELoss：

其中i为热图的像素点横坐标，j为热图的像素点纵坐标，a_ij为预测关键点的高斯分布值，b_ij为关键点实际高斯分布值；

按下式确定堆叠沙漏网络的激活函数relu(x)：

其中x表式上一层的输出；

2)将训练集输入堆叠沙漏网络训练

将训练集的50％输入堆叠沙漏网络进行训练，优化器采用Adam优化器，学习率设为0.001，训练至堆叠沙漏网络的损失函数MSELoss收敛；

(4)训练对抗性生成网络

1)确定对抗性生成网络的目标函数

按下式确定对抗性生成网络的激活函数LKrelu(σ)：

其中，σ是对抗性生成网络的输入，ε取值为[0.1,0.2]；

按下式确定对抗性生成网络的交叉熵损失函数f：

其中，gr_i是第i张图像是否是生成图像，gr_i表示第i张图像是生成图像时取值为1，不是生成图像时取值为0；gf是该图像判断为不是生成图像的得分，gf的取值为(0,1]，n表示图像总数量，n为有限的正整数；

2)将训练集输入对抗性生成网络训练，生成训练集对应的二进制格式文件，将数据输入对抗性生成网络进行训练，优化器采用adam优化器,学习率设置为0.01，训练至对抗性生成网络收敛；

(5)训练神经辐射场网络

1)确定神经辐射场网络的目标函数

按下式确定神经辐射场网络的损失函数L1：

其中，pl_k是网络预测第K个像素点的辐射值，rl_k是第K个像素点实际的辐射值，m表示图片的总像素点，m为有限的正整数；

按下式确定神经辐射场网络的激活函数relu(α)：

其中，α表示上一个全连接层的输出；

2)制作神经辐射场网络训练集

将对抗性生成网络训练后输出图片制作成神经辐射场网络的数据集，生成每一种脸谱的不同表情输出作为神经辐射场网络的原始训练数据；

3)将对抗性生成网络训练后生成的数据集输入神经辐射场网络进行训练，将训练集数据输入神经辐射场网络进行训练，每一种脸谱训练出对应的脸谱三维图像，生成对应脸谱表情迁移的三维图像；将验证集输入民俗文化迁移网络进行验证，调整模型参数；

(6)测试民俗文化迁移网络

将测试集输入到民俗文化迁移网络中进行测试。