[发明专利]一种人脸表情匹配方法、装置、设备及存储介质

权利要求书

1.一种人脸表情匹配方法，其特征在于，所述方法包括：

在检测到表情匹配指令后，获取选定的两张待识别人脸图像分别对应的目标人脸的人脸特征点；

根据两张目标人脸的人脸特征点，分别通过预先建立的人脸姿态估计模型，获取对应的人脸朝向的角度信息，以计算所述两张目标人脸的脸部相似度；

基于所述两张目标人脸的人脸特征点，分别获取所述两张目标人脸指定特征部位的状态信息，以计算所述两张目标人脸的指定特征部位的相似度；

基于所述两张目标人脸的脸部相似度以及指定特征部位的相似度，确定两张人脸图像的人脸表情是否匹配；

其中，所述两张目标人脸的脸部相似度通过以下方式计算：

基于所述两张目标人脸对应的人脸朝向的角度信息、以及预设脸部朝向最大差阈值，分别计算在预设三维坐标系内所述两张目标人脸沿X轴朝向的第一相似度、沿Y轴朝向的第二相似度以及沿Z轴朝向的第三相似度；其中，预设脸部朝向最大差阈值不等于0；所述第一相似度等于1减去第一数值的结果，所述第一数值为所述两张目标人脸沿X轴朝向的角度之差的绝对值与预设脸部朝向最大差阈值的比值；所述第二相似度等于1减去第二数值的结果，第二数值为所述两张目标人脸沿Y轴朝向的角度之差的绝对值与预设脸部朝向最大差阈值的比值；所述第三相似度等于1减去第三数值的结果，第三数值为所述两张目标人脸沿Z轴朝向的角度之差的绝对值与预设脸部朝向最大差阈值的比值；

基于所述第一相似度、第二相似度以及第三相似度之和，获取两张目标人脸的脸部相似度。

2.根据权利要求1所述的人脸表情匹配方法，其特征在于，所述目标人脸的人脸特征点基于将待识别人脸图像输入预先建立的人脸检测模型中获得的。

3.根据权利要求1所述的人脸表情匹配方法，其特征在于，所述人脸姿态估计模型的输入参量为从所述目标人脸的人脸特征点中获取的指定特征点；所述指定特征点至少包括：鼻尖、下巴、左眼的左角、右眼的右角、嘴的左角和嘴的右角。

4.根据权利要求1所述的人脸表情匹配方法，其特征在于，所述指定特征部位至少包括：眼睛、嘴巴以及眉毛；

则所述基于所述两张目标人脸的人脸特征点，分别获取所述两张目标人脸指定特征部位的状态信息，包括：

从所述目标人脸的人脸特征点中获取指定特征部位对应的人脸特征点；

基于所述指定特征部位对应的人脸特征点，计算所述指定特征部位的高度以及宽度，以获取所述目标人脸指定特征部位的状态信息；其中，所述目标人脸指定特征部位的状态信息为所述指定特征点的高度和所述指定特征点的宽度的比值。

5.根据权利要求4所述的人脸表情匹配方法，其特征在于，所述两张目标人脸的指定特征部位的相似度通过以下方式计算：

基于所述两张目标人脸指定特征部位的状态信息以及对应的预设特征最大差阈值，计算所述两张目标人脸的指定特征部位的相似度；其中，所述两张目标人脸的指定特征部位的相似度为所述两张目标人脸指定特征部位的状态信息的差值的绝对值与预设特征最大差阈值的比值，所述预设特征最大差阈值不等于0。

6.根据权利要求1所述的人脸表情匹配方法，其特征在于，所述基于所述两张目标人脸的脸部相似度以及指定特征部位的相似度，确定两张人脸图像的人脸表情是否匹配，包括：

基于所述两张目标人脸的脸部相似度及对应的脸部权重、和指定特征部位的相似度及对应的特征权重，获取人脸表情的相似度，以确定两张人脸图像的人脸表情是否匹配；其中，所述人脸表情的相似度等于所述脸部相似度与所述脸部权重的乘积、以及所述指定特征部位的相似度与所述特征权重的乘积之和。