[发明专利]动态表情获取方法、装置、存储介质和电子设备

权利要求书

1.一种动态表情获取方法，其特征在于，包括：

从获取的视频中提取脸部运动轨迹；所述脸部运动轨迹包括由同一对象的多个脸部图像帧组成的图像序列；

对所述脸部运动轨迹中的各个脸部图像帧分别进行静态表情检测，得到各个脸部图像帧对应的静态表情分类信息；所述静态表情分类信息包括设定的表情类型和脸部图像帧中的面部表情对应于每个表情类型的置信度值；

基于各个脸部图像帧对应的静态表情分类信息，从所述脸部运动轨迹中选取出目标表情类型的目标图像序列；

根据所述目标图像序列获得目标表情类型对应的动态表情；

其中，所述基于各个脸部图像帧对应的静态表情分类信息，从所述脸部运动轨迹中选取出目标表情类型的目标图像序列，包括：

根据所述脸部运动轨迹中的各个脸部图像帧对应的静态表情分类信息，生成所述脸部运动轨迹对应的表情置信度矩阵；所述表情置信度矩阵中包括各个脸部图像帧对应的每个表情类型的置信度值；将所述脸部运动轨迹对应的表情置信度矩阵输入已训练的动态表情检测模型，获得所述脸部运动轨迹对应的表情类型；所述动态表情检测模型是采用脸部样本图像序列对循环神经网络进行训练获得的，每个脸部样本图像序列包括同一对象的多张表情连续变化的脸部图像；若所述脸部运动轨迹对应的表情类型为所述目标表情类型，则从所述脸部运动轨迹中选取出部分或者全部图像序列作为所述目标图像序列。

2.根据权利要求1所述的方法，其特征在于，基于各个脸部图像帧对应的静态表情分类信息，从所述脸部运动轨迹中选取出目标表情类型的目标图像序列，还包括：

根据各个脸部图像帧对应的静态表情分类信息中每个表情类型的置信度值，从各个脸部图像帧中选取目标表情类型的置信度值满足预设置信度条件的目标脸部图像帧；

将所述脸部运动轨迹中包含所述目标脸部图像帧的预设数量的脸部图像帧确定为目标表情类型的目标图像序列。

3.根据权利要求1所述的方法，其特征在于，从所述脸部运动轨迹中选取出部分图像序列作为所述目标图像序列，具体包括：

从所述脸部运动轨迹的各个脸部图像帧中选取目标表情类型的置信度值最大的目标脸部图像帧；

从所述脸部运动轨迹中选取包含所述目标脸部图像帧的部分脸部图像帧组成目标图像序列。

4.根据权利要求1所述的方法，其特征在于，若从所述脸部运动轨迹中选取全部图像序列作为所述目标图像序列，则所述脸部运动轨迹满足如下条件中的至少一个：

所述脸部运动轨迹中包含的脸部图像帧的数量少于设定数量；

所述脸部运动轨迹对应的除目标表情类型之外的其他表情类型的置信度值均小于设定阈值。

5.根据权利要求1所述的方法，其特征在于，从获取的视频中提取脸部运动轨迹，包括：

对于所述视频中的各个图像帧，获取所述图像帧中的脸部区域；

将所述脸部区域与已检测到的脸部运动轨迹进行匹配，确定满足匹配条件的脸部运动轨迹；

若已检测到的脸部运动轨迹中存在满足匹配条件的脸部运动轨迹，将所述脸部区域对应的脸部图像帧添加至满足匹配条件的脸部运动轨迹中；

若已检测到的脸部运动轨迹中不存在满足匹配条件的脸部运动轨迹，则新建包含所述脸部区域对应的脸部图像帧的脸部运动轨迹。

6.根据权利要求5所述的方法，其特征在于，将所述脸部区域与已检测到的脸部运动轨迹进行匹配，确定满足匹配条件的脸部运动轨迹，包括：

提取所述脸部区域的脸部特征；

对于已检测到的脸部运动轨迹，提取脸部运动轨迹中的每个脸部图像帧的脸部特征，并根据每个脸部图像帧的脸部特征与所述脸部区域的脸部特征的特征距离，确定脸部运动轨迹与所述脸部区域的外观距离；

确定所述脸部区域在所述图像帧中的位置信息；

对于已检测到的脸部运动轨迹，确定脸部运动轨迹中的脸部图像帧在对应的图像帧中的位置信息，并根据脸部图像帧的位置信息与所述脸部区域的位置信息之间的位置距离，确定脸部运动轨迹与所述脸部区域的运动距离；

将与所述脸部区域的外观距离满足设定外观阈值，且与所述脸部区域的运动距离满足设定运动阈值的脸部运动轨迹，作为满足匹配条件的脸部运动轨迹。