[发明专利]一种基于重构跨域视频生成对抗网络模型的微表情识别方法

权利要求书

1.一种基于重构跨域视频生成对抗网络模型的微表情识别方法，其特征在于，包括步骤如下：

A、循环执行步骤(1)-步骤(3)12000-240000次；并且每循环执行步骤(1)-步骤(3)n次保存步骤(2)生成的宏表情身份的微表情；

(1)将宏表情和微表情分别分解为表情种类和身份内容，所述表情种类即表情的标签信息，是指宏表情或微表情所属分类，所述身份内容即身份的标签信息，是指宏表情或微表情对应的人的身份信息，即同一张面部图像标为同一个标签，每人一个标签标号；

(2)将步骤(1)分解后的宏表情的身份内容和微表情的表情种类进行结合，生成宏表情身份的微表情动作，称之为生成的宏表情身份的微表情；将步骤(1)分解后的微表情的身份内容和宏表情的表情种类进行结合，生成微表情身份的宏表情动作，称之为生成的微表情身份的宏表情；

(3)将步骤(2)所述生成的宏表情身份的微表情再次分解为表情种类和身份内容，将所述生成的微表情身份的宏表情也再次分解为表情种类和身份内容，将所述生成的宏表情身份的微表情分解得到的身份内容和所述生成的微表情身份的宏表情分解得到的表情种类进行结合，生成宏表情，将所述生成的微表情身份的宏表情分解得到的身份内容和所述生成的宏表情身份的微表情分解得到的表情种类进行结合，生成微表情；返回步骤(1)；

B、从步骤(1)保存的所有宏表情身份的微表情中进行人工挑选，将挑选出的宏表情身份的微表情加入微表情识别模型的训练集中，进行微表情的识别；

所述重构跨域视频生成对抗网络模型包括两个表情编码器、两个身份编码器、四个视频生成器、四个图像判别器和两个视频判别器，两个表情编码器包括宏表情表情编码器和微表情表情编码器；两个身份编码器包括宏表情身份编码器和微表情身份编码器；四个视频生成器包括宏表情视频生成器、微表情视频生成器、重构宏表情视频生成器、重构微表情视频生成器；四个图像判别器包括宏表情表情图像判别器、宏表情身份图像判别器、微表情表情图像判别器和微表情身份图像判别器；两个视频判别器包括宏表情视频判别器和微表情视频判别器；

所述宏表情表情编码器和所述微表情表情编码器结构相同，均包括八个部分，第一部分到第六部分结构相同，均包括一个二维卷积层、一个BatchNorm2d层及一个LeakyReLU层，第七部分是一个Linear层，第八部分是一个LSTM网络；

所述宏表情身份编码器和微表情身份编码器结构相同，均包括七个部分，第一部分到第六部分结构相同，均包括一个二维卷积层、一个BatchNorm2d层及一个LeakyReLU层，第七部分是一个Linear层；

所述宏表情视频生成器、微表情视频生成器、重构宏表情视频生成器及重构微表情视频生成器结构相同，均包括七个部分，第一部分到第六部分结构相同，均包括一个二维反卷积层、一个BatchNorm2d层及一个RELU层，第七部分包含一个二维反卷积层和一个Tanh层；

所述宏表情表情图像判别器、宏表情身份图像判别器、微表情表情图像判别器及微表情身份图像判别器结构相同，均包括五部分，第一部分到第四部分结构相同，均包括一个二维卷积层和一个LeakyReLU层，第五部分包括一个二维卷积层；

所述宏表情视频判别器和微表情视频判别器结构相同，均包括五部分，第一部分到第四部分结构相同，均包括一个三维卷积层和一个LeakyReLU层，第五部分包括一个三维卷积层。