[发明专利]基于深度学习和哈希编码的视频检索方法

说明书

本发明涉及一种基于深度学习和哈希编码的针对视频数据的网络训练方法，利用深度神经网络提取视频样本的特征矩阵；将所获得的视频样本的特征矩阵作为整体进行建模，获得所述视频样本的高维实值表示；将所获得的高维实值表示利用深度网络进一步表示为二值哈希编码。

技术领域

本发明涉及计算机视觉技术领域，特别涉及一种基于深度学习和哈希编码的视频检索方法。

背景技术

随着科学技术的发展，当今世界已进入大数据时代，尤其是视频数据资源增长迅速，因此对大规模视频数据进行检索以满足用户需求给检索技术领域带来了新的挑战。视频可以看成是一系列连续的静态图像的集合，即由二维数字图像和时间维度构成的三维对象。针对视频检索要解决的问题是，一方面，由于检索的数据库规模较大，需要更高效的表示样本数据以满足实时性的需求以及存储开销的约束；另一方面，在用户使用静态图像来检索视频时，还需要准确度量图像和视频两种不同空间数据的距离。

现有技术中为了高效的表示视频样本数据，可以采用实数特征表示的方法或二值哈希编码表示的方法。基于实数特征表示的方法是指将视频帧图像提取的实数特征向量作为样本的表示。但是由于检索任务对于时间和存储空间的开销要求很高，这种方法往往无法胜任大规模的实时检索任务；基于二值哈希编码表示的方法的目标是把视频帧图像用二值向量来编码表示，相比于采用实数特征表示的方法，在相同长度的表示下，存储空间大幅度减少。同时，样本间的距离通过二值向量的海明距离度量，这种度量操作可以直接通过异或运算和计算机的硬件实现，速度相当之快。但是，基于二值哈希编码的方法由于信息高度压缩，因此给哈希函数模型的设计带来了困难。

另外，现有技术中在计算图像和视频的距离时，可以采用逐个计算每对图像之间的距离。这种方案存在的主要问题是距离度量时间开销大，尤其是当视频包含数千甚至上万帧图像时，这种检索方法就会变得非常低效；还有一些方法把视频作为一个整体进行建模表示，比如其中的一个代表性方法，通过协方差统计建模，但是存在计算开销过大的问题。

为了适应更大规模的视频检索需求，目前需要既能高效的表示样本数据，又能缩短样本间距离的度量时间，节省计算开销的视频检索方法。

发明内容

本发明的目的是提供一种基于深度学习和哈希编码的视频检索方法，该方法能够克服上述现有技术的缺陷。

根据本发明的一个方面，提供一种基于深度学习和哈希编码的针对视频数据的网络训练方法，包括以下步骤：

步骤1)、利用深度网络提取视频样本的特征矩阵；

步骤2)、将所述步骤1)获得的视频样本的特征矩阵作为整体进行建模，获得所述视频样本的高维实值表示；

步骤3)、将所述步骤2)获得的高维实值表示利用深度网络进一步表示为二值哈希编码。

优选的，所述步骤2)采用协方差统计方法对所述视频样本的特征矩阵进行整体建模表示。

优选的，所述训练样本包括图像样本和视频样本，在训练过程中，使用目标损失函数约束图像样本与视频样本之间，视频样本与视频样本之间，以及图像样本和图像样本之间的排序关系。

优选的，所述步骤1)还包括利用静态图像数据集进行基于分类任务的参数预训练。

根据本发明的另一方面，提供一种用于对基于上述网络训练方法所建立的视频数据库进行视频检索的方法，包括：

获得一张静态图像作为待查询图像样本；

利用深度网络将所述待查询图像样本表示为二值哈希编码；

通过将所述待查询图像样本的二值哈希编码与所述视频数据库中的所有视频数据的二值哈希编码进行相似度匹配，获得查询结果。