[发明专利]一种海量视频特征提取、存储和检索方法及系统

说明书

本发明涉及视频处理技术领域，具体地说，涉及一种海量视频特征提取、存储和检索方法及系统，特征提取通过训练深度卷积神经网络提取，存储方法包括视频分片、间隔采样、地标识别、深度卷积神经网络处理得到哈希编码和特征、选择关键帧等步骤，检索方法包括地标信息和图片检索，输入图片时，首先通过深度卷积神经网络提取哈希编码和特征，希编码在哈希索引库中快速检索，然后用特征在视频特征库中精确匹配，得到相似地标的索引后在视频信息库中获取视频信息；本发明具有较佳地准确性，精度高。

技术领域

本发明涉及视频处理技术领域，具体地说，涉及一种海量视频特征提取、存储和检索方法及系统。

背景技术

图像检索技术可以分为基于文本的检索方法和基于内容的检索方法，基于文本的检索方法首先需要预先为所有检索库中的图像添加文本标注，输入关键词与所有图像的标注文本进行匹配。基于图像内容的检索方法检索流程与基于文本的检索方法类似，不同的是基于内容的检索方式是以图像的视觉特征作为图像的描述，视觉特征提取目前有sift、hog、harr、gist等传统方法，检索方式是提取图像视觉特征，与特征库中特征匹配检索。

目前的视频检索方法准确率低，精度小，不能满足人们的需求。

发明内容

本发明的内容是提供一种海量视频特征提取、存储和检索方法及系统，其能够克服现有技术的某种或某些缺陷。

根据本发明的一种海量视频特征提取方法，其包括以下步骤：

a、将视频输入到深度卷积神经网络；

b、深度卷积神经网络对视频进行特征提取；

c、得到视频特征。

2、根据权利要求1所述的一种海量视频特征提取方法，其特征在于：所述深度卷积神经网络以ResNet101为基础，其conv-5包括c5-1、c5-2和c5-3，在conv-5进行attention操作如下：

c5-1连接一层卷积核为3x3的卷积并输出512个特征图，再接一层3x3的卷积并输出一张特征图，该特征图作为spatial方向的attention map；

c5-2连接一层1x1的卷积，保持维度2048维不变，并做全局池化操作，得到channel方向的attention map；

特征提取的计算公式如下：

其中，F_c-3表示c5-3层的特征图，表示矩阵元素乘法操作，表示矩阵元素加法操作，M_s和M_c分别表示spatial attention操作和channel attention操作；attention最后一层卷积经过Generalized-mean pooling输出2048维的特征向量，并使用L2归一化特征。

作为优选，深度卷积神经网络的损失函数为contrastive loss，训练集为structure-from-motion，训练完成后，分别固定基础模型参数，训练512维的哈希编码层，以及支持4784个地标的全连接层。

作为优选，训练深度卷积神经网络提取特征后，增加一层2048维的全连接层FC，并对特征和FC进行concat操作，组成4096维特征，经过pca降维至2048，作为最终的特征。

本发明通过深度卷积神经网络提取视频特征，使特征更明显，更精确。