[发明专利]基于深度线索的视频场景检索方法和系统

说明书

本发明涉及一种基于深度线索的视频场景检索方法和系统，包括：获取样本视频，并将样本视频作为输入视频；将输入视频分割为场景片段，根据场景片段的视频场景信息，提取深度线索，对深度线索构成的空间数据降维，作为空间信息描述子；对输入视频进行帧采样得到关键帧，提取关键帧的特征，作为彩色信息描述子；建立空间信息描述子与彩色信息描述子的索引关系，得到场景描述子；对所有样本视频的场景描述子建立视频场景特征库；获取待检索视频，并作为输入视频，得到待检索视频的空间描述子与彩色信息描述子，并根据待检索视频的空间描述子，检索视频场景特征库，得到初步检索结果，对初步检索结果进行彩色特征筛选得到待检索视频的最终检索结果。

技术领域

本发明涉及视频处理领域，并特别涉及一种基于深度线索的视频场景检索方法和系统。

背景技术

视频检索在视频样例库中索引并查询与输入内容相似的物体和场景，被应用到很多实际任务中，例如视频安全检测、智能视频监控、机器人导航和增强现实等。随着网络视频数据量逐渐增多，实际任务对视频内容识别与检索提出了更高的要求。依靠复杂的算法提高精确度难以同时满足应用对处理效率与准确率的要求。视频中包含对一个场景从不同角度拍摄的图像，这些多视图描述了整个场景的三维空间结构，是人单眼获取立体感的来源。即单相机视频场景片段中存在着表示三维空间结构的深度信息，在视频处理中增加深度信息能够同时提高速度与精确度。

对于视频内容识别与检索，当前方法的准确率与检索速度仍然难以满足实际检测任务需求。

1)输入信息不足是其中一个重要原因，目前的识别只是针对二维图像与视频，输入信息量相对不足，只能依靠复杂的算法增加正确识别的概率。本发明在在视频处理中增加深度信息能够同时提高速度与精确度；

2)视频检索的现有技术处理每个视频的关键帧，并根据最匹配的关键帧对视频进行排名，属于以图像检索图像或者图像检索视频的处理方式。以关键帧的形式进行特征聚合与检索，由于关键帧采样过于稀疏会降低识别的准确度，因此视频特征库占用内存很大。本发明以视频场景为单位进行检索，使用空间信息描述视频帧间的结构，减少视频描述特征的数据量；

3)当前方法在海量视频检索时，视频特征数据库庞大，检索速度太慢，难以满足应用需求，本发明分两步进行检索，减少了彩色图特征匹配的计算量，提高了检索速度。

4)目前基于深度信息的物体检测主要是基于三维点云、多视点图像、或三维模型。它们的缺点是需要专门设计的立体摄像机采集场景，绝大部分网络视频不满足这个前提条件；或者需要提供三维虚拟模型，限制了检测物体的类别。这些弊端限制了三维信息在视频处理上的应用。本发明的研究对象是存在于视频场景片段中的自由视点序列、多视点图像序列或视频，这在实际应用中都是常见的数据来源。

发明内容

本发明为了同时提高视频识别与检索的速度与准确度，提出了一种基于深度线索的视频场景识别与检索的方法。

具体地说，本发明公开了一种基于深度线索的视频场景检索方法，包括：

步骤1、获取样本视频，并将该样本视频作为输入视频，发送至步骤2；

步骤2、将输入视频分割为场景片段，根据该场景片段的视频场景信息，提取深度线索，对深度线索构成的空间数据降维，作为空间信息描述子；对输入视频进行帧采样得到关键帧，使用深度神经网络提取该关键帧的特征，作为彩色信息描述子；通过对该样本视频的空间描述子与彩色信息描述子建立索引关系，得到场景描述子；

步骤3、对所有样本视频的场景描述子建立视频场景特征库；

步骤4、获取待检索视频，并作为输入视频发送至步骤2，得到该待检索视频的空间描述子与彩色信息描述子，并根据该待检索视频的空间描述子，对该视频场景特征库进行检索，得到初步检索结果，对该初步检索结果进行彩色特征筛选得到该待检索视频的最终检索结果。