[发明专利]一种从视频中提取表情包的方法、装置及电子设备

权利要求书

1.一种从视频中提取表情包的方法，其特征在于，包括：

从待提取表情包的视频中抽取视频帧；

从所抽取到的视频帧中提取人脸图像；

如果提取到，确定所提取到的人脸图像中人脸的目标特征信息；其中，所述目标特征信息为人脸表情产生时受到影响的人脸特征信息；

将所述目标特征信息输入至预先训练的表情包识别模型，得到识别结果；其中，所述表情包识别模型为：基于第一样本图像中人脸的样本特征信息，以及所述第一样本图像的标签值，所训练完成的；所述第一样本图像为包含人脸区域的图像，所述标签值为表明所述第一样本人脸图像是否属于表情包的标识值；

当所述识别结果表明属于表情包时，将所述所提取到的人脸图像，作为所述视频的表情包；

将所述视频与所述视频的表情包进行关联存储；

当用户播放端请求所述视频时，将所述视频和与所述视频关联存储的表情包反馈给所述用户播放端，以使得所述用户播放端在播放所述视频的同时，关联显示所述视频的表情包。

2.根据权利要求1所述的方法，其特征在于，所述目标特征信息包括：

关键点信息、视线信息、情感类别信息和面部对象信息中的一种或多种特征信息；

其中，所述面部对象信息为人脸表情发生时受到影响的面部对象的张开程度数据。

3.根据权利要求2所述的方法，其特征在于，所述目标特征信息包括：所述关键点信息、所述视线信息、所述情感类别信息和所述面部对象信息；

所述确定所提取到的人脸图像中人脸的目标特征信息的步骤，包括：

将目标图像输入至预先训练的特征信息识别模型，得到所述目标图像中人脸的关键点信息、视线信息和情感类别信息；其中，所述目标图像为所述所提取到的人脸图像；

基于所得到的关键点信息，计算所述目标图像中人脸的面部对象信息；

其中，所述特征信息识别模型为基于第二样本图像，以及所述第二样本图像中人脸的真值关键点信息、真值视线信息和真值情感类别信息，所训练得到的模型；所述第二样本图像为包含人脸区域的图像。

4.根据权利要求3所述的方法，其特征在于，所述特征信息识别模型包括：

顺次连接的特征提取网络和分支网络组，所述分支网络组包括作为并列分支的第一特征识别网络、第二特征识别网络以及第三特征识别网络；

所述特征提取网络，用于提取所述第二样本图像中人脸的特征数据；

所述第一特征识别网络，用于基于所述特征提取网络所提取的特征数据，识别所述第二样本图像中人脸的关键点信息；

所述第二特征识别网络，用于基于所述特征提取网络所提取的特征数据，识别所述第二样本图像中人脸的视线信息；

所述第三特征识别网络，用于基于所述特征提取网络所提取的特征数据，识别所述第二样本图像中人脸的情感类别信息。

5.根据权利要求4所述的方法，其特征在于，所述特征信息识别模型的训练过程包括：

获得多个所述第二样本图像，以及每一所述第二样本图像中人脸的真值关键点信息、真值视线信息以及真值情感类别信息；

分别将多个所述第二样本图像输入至所述特征信息识别模型，以使所述特征信息识别模型中的所述特征提取网络分别提取每个所述第二样本图像中人脸的特征数据，并将每个所述第二样本图像中人脸的特征数据，均分别输入所述第一特征识别网络、所述第二特征识别网络以及所述第三特征识别网络，使得所述第一特征识别网络、所述第二特征识别网络以及所述第三特征识别网络对所接收到的特征数据进行信息识别，得到每个所述第二样本图像中人脸的预测关键点信息、预测视线信息和预测情感类别信息；

基于每个所述第二样本图像中人脸的预测关键点信息与相应真值关键点信息的差异、每个所述第二样本图像中人脸的预测视线信息与相应真值视线信息的差异，以及每个所述第二样本图像中人脸的预测情感类别信息与相应真值情感类别信息的差异，计算综合损失值；

基于所述综合损失值，判断训练中的特征信息识别模型是否收敛，如果收敛，结束训练，得到训练完成的特征信息识别模型；否则，调整所述特征信息识别模型的网络参数，继续下一次训练。