[发明专利]人脸表情识别方法、装置、终端设备及存储介质

说明书

本申请适用于人工智能技术领域，提供了一种人脸表情识别方法、装置、终端设备及存储介质，其中，所述方法通过对待识别人脸图像进行人脸表观信息提取和人脸特征点检测，得到第一表观特征信息和第一特征点信息；将所述第一表观特征信息和所述第一特征点信息融合得到第一特征向量；将所述第一特征向量输入表情识别模型，得到预测表情；确定与所述预测表情关联的相似表情；将所述待识别人脸图像输入与所述预测表情和所述预测表情对应的所述相似表情关联的表情区分模型，得到表情识别结果；所述表情区分模型用于区分所述预测表情以及与所述预测表情对应的所述相似表情。以解决相似的对称表情识别准确度低的问题。另外，本申请还涉及区块链技术。

技术领域

本申请涉及人工智能技术领域，尤其涉及一种人脸表情识别方法、装置、 终端设备及计算机可读存储介质。

背景技术

人脸表情是最直接，最有效的情感模式。通过对拍摄得到的人脸图像进行 表情识别，能够得到人脸呈现的表情。当前单表情识别主要有七种类型：生气， 害怕，厌恶，开心，悲伤，惊讶以及中立。复合表情在这个基础上又分为主表 情和辅助表情。

表情识别的难点在于有些表情属于同种表情的类内差异性较大，同时有些 表情不属于同一表情的类但差异又很小(例如惊讶和害怕等)。在现有技术中， 采用现有的表情识别算法对人脸图像进行表情识别得到的表情识别结果往往在 易混淆的表情方面表现不佳，无法准确区分出差异小但属于不同类别的两种表 情类或将同一表情类中差异较大的表情分错表情类别。

发明内容

有鉴于此，本申请实施例提供了一种人脸表情识别方法、装置、终端设备 及计算机可读存储介质，以解决现有技术中相似的对称表情识别准确度低的问 题。

本申请实施例的第一方面提供了一种人脸表情识别方法，包括：

对待识别人脸图像进行人脸表观信息提取和人脸特征点检测，得到第一表 观特征信息和第一特征点信息；

将所述第一表观特征信息和所述第一特征点信息融合得到第一特征向量；

将所述第一特征向量输入表情识别模型，得到预测表情；

确定与所述预测表情关联的相似表情；

将所述待识别人脸图像输入与所述预测表情关联和所述预测表情对应的所 述相似表情的表情区分模型，得到表情识别结果；所述表情区分模型用于区分 所述预测表情以及与所述预测表情对应的所述相似表情。

在一个实施示例中，在将所述待识别人脸图像输入表情区分模型，得到表 情识别结果之后，还包括：

若所述待识别人脸图像为人脸视频数据中任一帧图像，则将所述人脸视频 数据中位于所述待识别人脸图像所在的预设时间范围内的N帧图像，作为所述 待识别人脸图像的关联图像；

分别将每帧所述关联图像与所述待识别人脸图像进行相似性比对，将与所 述待识别人脸图像相似的所述关联图像作为参考图像；

分别对每帧所述参考图像进行表情识别，得到每帧所述参考图像对应的表 情类别；

分别统计各个所述表情类别在所述参考图像以及所述待识别人脸图像组成 的图像组中对应的图像个数；所述待识别人脸图像的表情类别根据所述表情识 别结果确定；

确定所述图像个数最多的表情类别为所述待识别人脸图像的人脸表情。

在一个实施示例中，所述分别将每帧所述关联图像与所述待识别人脸图像 进行相似性比对，将与所述待识别人脸图像相似的所述关联图像作为参考图像， 包括：

采用人脸关键点检测算法对每帧所述关联图像进行特征点提取，得到每帧 所述关联图像对应的人脸特征点；