[发明专利]物体图像挖掘方法、装置、设备以及存储介质

权利要求书

1.一种物体图像挖掘方法，包括：

获取视频与视频标题，其中，所述视频标题中存在实体；

基于所述实体搜索对应的实体图像集合；

从所述视频中分割出候选物体图像；

分别对所述候选物体图像和所述实体图像集合进行特征提取，生成候选物体图像特征和所述实体图像特征集合；

计算所述候选物体图像特征与所述实体图像特征集合的相似度；

基于所述相似度对所述候选物体图像进行过滤，得到所述实体对应的物体图像。

2.根据权利要求1所述的方法，其中，所述从所述视频中分割出候选物体图像，包括：

利用视频镜头分割算法对所述视频进行分割，得到多个镜头视频片段；

利用视频图像分割算法对所述多个镜头视频片段进行分割，得到候选物体分割结果；

基于所述候选物体分割结果，确定候选物体区域；

在所述视频中分割所述候选物体区域，得到所述候选物体图像。

3.根据权利要求2所述的方法，其中，在所述利用视频镜头分割算法对所述视频进行分割，得到多个镜头视频片段之后，还包括：

去除所述多个镜头视频片段的片头和片尾。

4.根据权利要求2所述的方法，其中，所述利用视频图像分割算法对所述多个镜头视频片段进行分割，得到候选物体分割结果，包括：

对所述多个镜头视频片段中的视频帧进行视频物体分割，得到初始物体分割结果；

利用密集条件随机场模型对所述初始物体分割结果进行精细化处理，得到精细化物体分割结果；

对所述精细化物体分割结果进行图像形态学运算，得到所述候选物体分割结果。

5.根据权利要求2所述的方法，其中，所述基于所述候选物体分割结果，确定候选物体区域，包括：

将所述候选物体分割结果二值化，得到二值化物体分割结果；

从四周向中心点扫描所述二值化物体分割结果，得到所述候选物体区域。

6.根据权利要求1-5之一所述的方法，其中，所述分别对所述候选物体图像和所述实体图像集合进行特征提取，包括：

利用预先训练的通用特征提取模型，分别对所述候选物体图像和所述实体图像集合进行特征提取。

7.根据权利要求1-5之一所述的方法，其中，所述计算所述候选物体图像特征与所述实体图像特征集合的相似度，包括：

计算所述候选物体图像特征与所述实体图像特征集合中的实体图像特征的余弦距离，得到余弦距离集合；

从所述余弦距离集合中选取最大的前预设数目个余弦距离，以及将所选取的余弦距离的平均值作为所述候选物体图像特征与所述实体图像特征集合的相似度。

8.一种物体图像挖掘装置，包括：

获取模块，被配置成获取视频与视频标题，其中，所述视频标题中存在实体；

搜索模块，被配置成基于所述实体搜索对应的实体图像集合；

分割模块，被配置成从所述视频中分割出候选物体图像；

提取模块，被配置成分别对所述候选物体图像和所述实体图像集合进行特征提取，生成候选物体图像特征和所述实体图像特征集合；

计算模块，被配置成计算所述候选物体图像特征与所述实体图像特征集合的相似度；

过滤模块，被配置成基于所述相似度对所述候选物体图像进行过滤，得到所述实体对应的物体图像。

9.根据权利要求8所述的装置，其中，所述分割模块包括：

第一分割子模块，被配置成利用视频镜头分割算法对所述视频进行分割，得到多个镜头视频片段；

第二分割子模块，被配置成利用视频图像分割算法对所述多个镜头视频片段进行分割，得到候选物体分割结果；

确定子模块，被配置成基于所述候选物体分割结果，确定候选物体区域；

第三分割子模块，被配置成在所述视频中分割所述候选物体区域，得到所述候选物体图像。