[发明专利]联合特定人物和场景的视频实例检索方法及系统

摘要

本发明涉及联合特定人物和场景的视频实例检索方法及系统，包括进行视频中特定人物的实例检索，进行基于局部与全局组合优化的特定场景检索，实现基于高分保留的视频实例检索，实现基于近邻扩展的视频实例检索，融合特定人物检索和特定场景检索结果，包括对于每个镜头，融合初始的场景检索结果与近邻扩展后的人物检索结果，再融合初始的人物检索结果和近邻扩展后的场景检索结果，取两种融合结果的最大值，得到视频实例检索的镜头排序结果。本发明提供的视频实例检索排序结果更加可靠，拓展性和适用性很强。

主权项

1.一种联合特定人物和场景的视频实例检索方法，其特征在于：包括以下步骤，步骤1，视频中特定人物的实例检索，包括针对一个查询人物p进行检索，输出查询人物p和查询视频库中每一个镜头的相似度分数，得到特定人物检索的排序结果，作为初始的人物检索结果；步骤2，视频中特定场景的实例检索，包括针对一个查询场景s进行检索，包括以下子步骤，步骤2.1，进行基于局部特征的特定目标检索；步骤2.2，进行基于全局特征的特定场景检索；步骤2.3，实现基于局部与全局组合优化的特定场景检索，包括根据基于局部特征的特定目标检索结果和基于全局特征的特定场景检索结果对镜头进行交叉重排，得到最终的特定场景检索的排序结果，作为初始的场景检索结果；步骤3，实现基于高分保留的视频实例检索，去除步骤1所得特定人物检索的排序结果和步骤2所得特定场景检索的排序结果中的排名靠后的结果，得到去噪后的人物检索结果和去噪后的场景检索结果；步骤4，实现基于近邻扩展的视频实例检索，包括根据步骤3所得结果进行基于近邻扩展的优化，得到近邻扩展后的人物检索结果和近邻扩展后的场景检索结果；所述进行基于近邻扩展的优化，实现方式如下，设任意人脸或场景相应镜头n初始分数为f(n)，e(i,n)为被镜头i经过高斯近邻调整后的镜头分数，其中i,n∈[1,N]，N为待检索的镜头总数，e(i,n)定义如下，e(i,n)＝f(i)g(n‑i)R(n)其中，g(n)为高斯序列，R(n)为矩形窗序列；经过基于高斯模型的分数调整后，每个镜头得到分数e(n+τ,n),...,e(n+1,n),e(n,n),...,e(n‑τ,n)，其中，τ为前后扩展镜头数目；选择调整后的最高分代表镜头调整后的分数；步骤5，融合特定人物检索和特定场景检索结果，包括对于每个镜头，融合初始的场景检索结果与近邻扩展后的人物检索结果，再融合初始的人物检索结果和近邻扩展后的场景检索结果，取两种融合结果的最大值，得到视频实例检索的镜头排序结果。