[发明专利]一种基于倒排索引的粗细粒度视频检索方法

说明书

技术领域

本发明属于视频检索领域，更为具体地讲，涉及一种基于倒排索引的粗细粒度视频检索方法。

背景技术

随着多媒体技术与网络技术的快速发展，数字视频的数量在互联网上呈现爆炸式的增长。如何在浩瀚的视频资源中快速准确地搜索到目标视频是目前互联网视频安全监管以及检索亟待解决的技术难题。因此，不少研究人员在视频识别与检索技术上投入了大量精力，而在众多解决方案中，视频指纹成为近年来相关技术的研究重点。

视频指纹按照应用范围可以分为嵌入式指纹和非嵌入式指纹。嵌入式指纹技术将与视频内容相关的指纹信息嵌入到数字视频产品内作为版权标识，主要应用于版权保护领域。而非嵌入视频指纹技术通过提取视频内容的特征信息，并基于特征信息计算得到一组与视频内容唯一对应并且能唯一标识视频的数字序列，最后通过视频指纹的比对检索实现视频的检索。由于非嵌入式指纹与视频内容紧密相关并且检索方式更为简单高效，因此主要应用于主要应用于视频安全监控和内容检索领域。

在现有技术中，基于低方差的近似字符串视频指纹序列匹配算法，该算法通过改进原有字符串匹配算法以获得更低的方差，在一定程度上提高了匹配的准确度而不会增加算法复杂度；基于假设检验的视频拷贝检测算法，该算法利用概率学中的假设检验思想对相似视频和非相似视频进行区分，拷贝后的视频与原视频通过算法计算后会有很大概率被划分为同一类，这样就能确定视频是否经过非法拷贝，从而起到保护版权的作用。此算法的开销较低，但是鲁棒性较差，若视频受到亮度改变，剪切，缩放等攻击后将很大程度影响算法准确度；基于DNA序列比对算法的视频指纹比对算法，该算法将视频指纹比作类似于生物学中DNA的视频基因，并利用生物学中序列分析方法FASTA算法对视频指纹进行分析，由于FASTA算法在两两比对的过程中涉及到回溯，算法开销较大，其时间效率无法满足实时性的要求；一种利用视觉词袋模型对视频内容进行建模与匹配的方法，该算法通过量化后的视频特征构建视觉词典，将视频镜头表示成若干视觉关键词集合，在此基础上构建镜头关键词词组的倒排索引，用于视频的检索匹配。该算法有效压缩了视频表达，并通过倒排索引提高了检索的效率，但检索准确度还有待提高。

从以上研究可以看出，大多数对视频指纹检索匹配算法的探究主要集中在算法的鲁棒性以及准确度上，而实时性上还有待提高；也有少数研究方向集中在提高算法的检索速度，但同时也牺牲了检索的准确度。而面向互联网视频安全监控的视频检索不仅要求检索速度具有一定的实时性，还需要检索结果具有较高的准确度和鲁棒性，因此，本发明为了有效地平衡检索的实时性与准确性，提出了基于非嵌入式视频指纹的视频检索方式，并借鉴倒排索引和生物序列分析的思想，实现对视频的快速而准确地检索。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于倒排索引的粗细粒度视频检索方法，在有效地平衡检索的实时性与准确性下，实现对视频的快速而准确地检索。

为实现上述发明目的，本发明基于倒排索引的粗细粒度视频检索方法，其特征在于，包括以下步骤：

(1)、对整个视频库构建倒排索引文件

(1.1)、设视频库中存放有N条视频；利用镜头分割技术对第一条视频进行关键帧提取，再通过SURF算法提取该条视频关键帧中的特征点；

(1.2)、利用预先训练的视觉词典对所有特征点进行分类处理：计算每个特征点与视觉词典中所有词汇的欧氏距离，将每个特征点划分到欧氏距离最小的词汇中，再统计每个词汇类别中特征点个数，并将特征点个数作为该词汇在视频中出现的频率；

(1.3)、统计出视觉词典中所有词汇在视频中出现的频率，提取频率最高的k个词汇作为视频的关键视觉词汇，并存入到倒排索引文件的词汇表中，同时将这k个词汇对应的视频信息存入到倒排索引文件的倒排列表中；

(1.4)、按照步骤(1.1)～步骤(1.3)所述的方法，继续对视频库中的下一条视频进行处理，直到第N条视频，从而对整个视频库构建出完整的倒排索引文件；

(2)、视频检索

(2.1)、基于倒排索引文件的视频粗粒度检索

(2.1.1)、按照步骤(1.1)～步骤(1.3)所述的方法提取待检索视频q的k个关键视觉词汇；

(2.1.2)、利用这k个关键视觉词汇在倒排索引文件中进行查找，找到与这k个词汇匹配的所有视频，并将找到的视频依次标记为视频h_i,i＝1,2,…，n，n表示找到的视频总个数；

(2.2)、基于改进的BLAST算法的视频细粒度检索