[发明专利]基于视频的微表情识别方法、装置、设备及存储介质

权利要求书

1.一种基于视频的微表情识别方法，其特征在于，包括：

实时获取待识别视频；

通过对所述待识别视频进行人脸时序提取，得到时序片段；

通过三维卷积神经网络对所述时序片段进行图像时序特征提取，得到特征向量矩阵组；

获取通过图神经网络模型训练完成的区域关联矩阵组，并将所述区域关联矩阵组和所述特征向量矩阵组融合，得到待分类向量；

对所述待分类向量进行微表情识别，得到与所述待识别视频对应的微表情结果。

2.如权利要求1所述的基于视频的微表情识别方法，其特征在于，所述通过对所述待识别视频进行人脸时序提取，得到时序片段，包括：

通过预设的时域插值模型对所述待识别视频进行插值处理，得到待处理片段；

通过人脸区域检测模型，对所述待处理片段进行人脸识别，得到多个人脸图像；

将所有所述人脸图像按照时序拼接，得到时序片段。

3.如权利要求2所述的基于视频的微表情识别方法，其特征在于，所述通过预设的时域插值模型对所述待识别视频进行插值处理，得到待处理片段，包括：

通过所述时域插值模型运用时域插值算法，对所述待识别视频进行插帧平滑处理，得到视频流；

对所述视频流进行归一化处理，并重新构建出与归一化后的所述视频流对应的所述待处理片段。

4.如权利要求2所述的基于视频的微表情识别方法，其特征在于，所述通过人脸区域检测模型，对所述待处理片段进行人脸识别，得到多个人脸图像，包括：

通过所述人脸区域检测模型对所述待处理片段进行分帧处理，得到多个待识别图像；所述人脸区域检测模型为基于YOLO构建的目标检测模型；

通过所述人脸区域检测模型对各所述待识别图像进行人脸特征提取，得到各所述待识别图像的识别结果；

将与含人脸的识别结果对应的所述待识别图像记录为所述人脸图像。

5.如权利要求1所述的基于视频的微表情识别方法，其特征在于，所述获取通过图神经网络模型训练完成的区域关联矩阵组之前，包括：

获取视频样本集；所述视频样本集包括多个视频样本，一个所述视频样本与一个时序标签和一个微表情标签；

将所述视频样本输入含有初始参数的图神经网络模型；

通过所述图神经网络模型对所述视频样本进行微表情帧识别，得到时序样本结果；

对所述时序样本结果进行区域关联特征构建，构建出区域关联初始矩阵，以及进行微表情预测，得到区域关联初始矩阵和样本识别结果；

运用交叉熵损失函数，根据所述时序标签、所述微表情标签、所述时序样本结果和所述样本识别结果，得到损失值；

在所述损失值未达到预设的收敛条件时，迭代更新所述图神经网络模型中的初始参数，直至所述损失值达到所述收敛条件，将收敛之后的所述图神经网络模型中构建的所述区域关联初始矩阵记录为训练完成的区域关联矩阵组。

6.如权利要求1所述的基于视频的微表情识别方法，其特征在于，所述通过三维卷积神经网络对所述时序片段进行图像时序特征提取，得到特征向量矩阵组，包括：

通过所述三维卷积神经网络对所述时序片段中的各个所述人脸图像进行所述图像时序特征提取，得到各所述人脸图像的特征向量矩阵；所述三维卷积神经网络为基于ResNet-V2的网络结构构建的网络；

将所有所述特征向量矩阵汇总，得到所述特征向量矩阵组。

7.如权利要求1所述的基于视频的微表情识别方法，其特征在于，所述将所述区域关联矩阵组和所述特征向量矩阵组融合，得到待分类向量，包括：

将所述区域关联矩阵组和所述特征向量矩阵组进行点乘处理，得到融合矩阵；

对所述融合矩阵进行格式对齐处理，得到所述待分类向量。