[发明专利]多媒体资源搜索方法、装置、存储介质及设备

权利要求书

1.一种多媒体资源搜索方法，其特征在于，所述方法包括：

获取输入的图像文件；

对所述图像文件进行人脸检测，得到至少一个人脸区域；

在所述至少一个人脸区域上进行人脸特征提取，得到所述图像文件的人脸特征，所述人脸特征用于描述人脸的面部器官特征；

在所述至少一个人脸区域上进行面部表情特征提取，得到所述图像文件的面部表情特征，所述面部表情特征用于描述人脸的情绪状态；

当所述图像文件包括至少两张输入图像时，对于所述图像文件中的每一张输入图像，对所述输入图像的人脸特征和面部表情特征分别进行哈希运算，得到第二哈希运算结果；基于所述第二哈希运算结果，在多媒体资源池的哈希运算结果中进行查找，得到初步资源搜索结果；

对于所述初步资源搜索结果中包括的每一项多媒体资源，获取所述图像文件中包括的输入图像与所述多媒体资源之间的平均相似度；获取所述图像文件中包括的输入图像在所述多媒体资源中的出现帧数；基于与所述每一项多媒体资源匹配的平均相似度以及出现帧数，对与所述每一张输入图像匹配的初步资源搜索结果进行合并处理，得到与所述图像文件匹配的目标多媒体资源。

2.根据权利要求1所述的方法，其特征在于，当所述图像文件包括一张输入图像时，所述方法还包括：

对所述输入图像的人脸特征和面部表情特征分别进行哈希运算，得到第一哈希运算结果；

基于所述第一哈希运算结果，在所述多媒体资源池的哈希运算结果中进行查找，得到初步资源搜索结果；

对于所述初步资源搜索结果中包括的每一项多媒体资源，获取所述多媒体资源与所述输入图像之间的相似度；

按照与所述每一项多媒体资源匹配的相似度，对所述初步资源搜索结果中包括的多媒体资源进行排序，得到所述目标多媒体资源。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

对于所述多媒体资源池中的每一项多媒体资源，对所述多媒体资源进行分帧处理，并获取所述多媒体资源的关键帧；

对获取到的每一个关键帧分别进行人脸特征提取和面部表情特征提取；

对于所述每一个关键帧，对所述关键帧的人脸特征和面部表情特征分别进行哈希运算，得到所述关键帧的哈希运算结果；

获取所述关键帧在所述多媒体资源中的播放时刻；

基于所述多媒体资源的标识信息以及所述关键帧的播放时刻，存储所述关键帧的哈希运算结果；

其中，所述多媒体资源池的哈希运算结果中包括所述每一项多媒体资源的关键帧的哈希运算结果。

4.根据权利要求1所述的方法，其特征在于，所述获取所述图像文件中包括的输入图像与所述多媒体资源之间的平均相似度，包括：

对于每一张输入图像，获取所述输入图像与所述多媒体资源之间的相似度；

将所述每一张输入图像分别与所述多媒体资源之间的相似度进行均值计算，得到所述图像文件中包括的输入图像与所述多媒体资源之间的平均相似度。

5.根据权利要求1所述的方法，其特征在于，所述获取所述图像文件中包括的输入图像在所述多媒体资源中的出现帧数，包括：

对于每一张输入图像，若所述输入图像出现在所述多媒体资源中，则所述出现帧数加一。

6.根据权利要求1所述的方法，其特征在于，所述基于与所述每一项多媒体资源匹配的平均相似度以及出现帧数，对与所述每一张输入图像匹配的初步资源搜索结果进行合并处理，包括：

基于与每一项多媒体资源匹配的平均相似度，对所述初步资源搜索结果包括的每一项多媒体资源进行排序；

若任意两项多媒体资源之间的平均相似度的差值位于目标阈值范围内，则按照与所述两项多媒体资源匹配的出现帧数，对所述两项多媒体资源进行排序。