[发明专利]基于多幅图像融合的视频检索方法及系统

说明书

本发明公开一种基于多幅图像融合的视频检索方法及系统，属于视频检索技术领域，该方法在离线建立索引部分对数据库视频进行解码与视频镜头分割，得到多个视频镜头，对单个视频镜头全部关键帧的局部特征集合进行池化处理，以视频镜头为单位建立反向文件索引。在在线检索部分，采用所有查询图像，并对所有查询图像的局部特征在量化后进行池化，得到所有查询图像的量化后的局部特征池化集合，按照反向文件索引，对查询图像与视频镜头的量化后的局部特征池化集合进行相似度比较，进行视频检索。并公开了一种基于多幅图像融合的视频检索系统。本发明在保证搜索效率的前提下，提高了视频检索的查全率。

技术领域

本发明涉及视频检索技术领域，特别涉及一种基于多幅图像融合的视频检索方法及系统。

背景技术

自动视频数据检索属于基于内容的视频检索问题，其目的就是通过对图像/视频内容进行计算机处理、分析和理解，建立结构和索引，以实现方便有效的图像/视频信息获取。近年来，国内外的研究人员均对视频检索系统进行了大量的研究，目前开发出的智能视频监控可以对目标进行检测、跟踪以及分类，并能实时监测一些突发异常事件。

目前，通用的视频检索系统的工作流程如图1所示，主要包括离线建索引和在线检索两部分。离线建索引部分：第一步，对数据库中的视频数据进行关键帧提取，以将视频数据转换为图像数据；第二步，从关键帧中提取出关键帧特征；第三步，将所有的关键帧特征进行量化编码；第四步，根据关键帧特征的编码，建立倒排文件索引以供快速检索。在线检索部分：第一步，对查询图像进行特征提取；第二步，对所有查询图像的特征进行量化编码；第三步，通过倒排文件索引，将查询图像的特征与数据库视频关键帧的特征进行相似度比较；第四步，按照查询图像的特征与视频数据库关键帧特征的相似度，对查询出的视频关键帧进行排序；第五，通过对关键帧排序结果融合得到视频文件排序结果。

但是上述的这种视频检索技术的缺陷在于：一是，查全率不高，因为根据一幅查询图像一般不足以描述所要查询的目标，特别是对于非刚性或者是空间拓扑复杂的物体，而且在实际应用中，监控目标的任何蛛丝马迹的遗漏都有可能导致监控目标的丢失，因此查全率在实际应用中往往比查准率更为重要。二是，查询效率低，现有视频检索技术的工作过程中，需要对视频中的每一关键帧进行排序，再通过对关键帧的排序结果进行融合得到视频的排序结果，但是由于视频帧的数目远远大于视频的个数，因此对关键帧进行排序会导致目标的查询速度慢、对资源的利用率低。

发明内容

本发明的目的在于提供一种基于多幅图像融合的视频检索方法及系统，以提高视频检索的查全率。

为实现以上目的，本发明采用的技术方案为：第一方面，本发明提供一种基于多幅图像融合的视频检索方法，该方法包括：

对数据库视频进行解码与视频镜头分割，得到多个视频镜头；

对单个视频镜头进行关键帧提取，并对关键帧进行局部特征提取；

对部分局部特征进行聚类，将得到的聚类中心集合作为数据库视频局部特征的码本；

按照数据库视频局部特征的码本，对数据库视频的所有局部特征进行量化编码；

在量化编码后，对单个视频镜头所有关键帧的局部特征集合进行池化处理，得到单个视频镜头量化后的局部特征池化集合；

根据数据库视频局部特征的码本和单个视频镜头量化后的局部特征池化集合，建立反向文件索引；

根据待检索目标视频的多幅查询图像和反向文件索引，进行目标视频的在线检索。

第二方面，本发明提供了一种基于多幅图像融合的视频检索系统，该系统包括：视频处理模块、分布式存储模块以及检索模块；

视频处理模块包括处理单元、第一提取单元、第一聚类单元、第一量化编码单元以及第一池化单元；