[发明专利]基于单帧和连续多帧抽样并行的视频搜索方法

权利要求书

1.一种基于单帧和连续多帧抽样并行的视频搜索方法，其特征在于，包括：

训练多路神经网络；

将待搜索视频按时序分堆处理为多个视频堆，对每个视频堆的帧随机连续采样得到若干帧，得到堆采样视频数据集，再对每个视频堆分别进行随机图像帧采样，每个视频堆随机采样获取一个单帧，得到单帧采样视频数据集；

将所述堆采样视频数据集和单帧采样视频数据集分别输入到所述多路神经网络中进行堆采样特征向量的获取以及单帧采样特征向量的获取，并利用该多路神经网络将提取的图像特征向量抽取得到最终的视频特征进行视频搜索；

训练多路神经网络具体包括以下步骤：

数据的随机采样，按间隔将数据分为多堆进行数据采样，将基于单帧和连续多帧抽样取样的数据放到接下来每一路神经网络之中进行特征向量提取；

将每一堆数据都放入一路神经网络之中，训练提取特征的卷积层，一路神经网络有多个由残差模块组成的卷积层，最终将由卷积层提取出一定的相应特征；

对于每一路神经网络，最后将接入一个全连接层，对于输入的特征图进行一定程度地分类，最后得出该视频在各种类上的得分；

对于每一路上相关神经网络得分，对于它们求和，再平均，得出最后的一个得分类别，当最高得分比其他类别高0.1以上时，将该类别作为当前类别，当最高得分与次高得分差别不及0.1的时候，将原模型类别设定为最高和次高类别，重新进行训练，此后，选定最后得出的类别作为该类别；

对于判定出类别的整个模型，判断正确记为0，错误记为1；以此作为损失函数进行整个模型的判定。

2.根据权利要求1所述的基于单帧和连续多帧抽样并行的视频搜索方法，其特征在于，还包括对多路神经网络进行验证，具体包括以下步骤：

对于作为验证的视频，将其分成多堆，将每堆视频放进一路神经网络之中；

将每堆视频对应得到的分类得分进行总的平均，最终平均多路的结果，最终得出来分类结果最高的类别，直接作为视频最终的分类结果；

将视频下该类别与之特征图最为相似的结果，选择该视频作为视频搜索的结果。

3.根据权利要求1所述的基于单帧和连续多帧抽样并行的视频搜索方法，其特征在于，在堆采样特征向量获取中，多路神经网络采用二值法对每个帧提取特征向量，具体包括：

首先将检测窗口划分为多个小区域；

对于每个小区域的像素，将相邻的8个像素的灰度值与其进行比较，若周围像素值大于中心像素值，则该像素点的位置被标记为1，否则为0；得到该窗口中心像素点的数据；

计算每个小区域的直方图，即每个数字出现的频率；

将每个小区域的直方图统计后生成一个特征向量，也就是整幅图的特征向量；

获取每个堆的连续多帧特征向量，即为堆采样特征向量。

4.根据权利要求1所述的基于单帧和连续多帧抽样并行的视频搜索方法，其特征在于，多路神经网络将提取的图像特征向量抽取得到最终的视频特征具体包括：

在连续多帧数据处理时，对多个特征向量的数据进行网络训练，对特征向量进行特征降维，压缩数据和参数的数量；把图像单堆的特征向量转化为线性矩阵，采用多路神经网络进行训练，通过线性变换将高维空间中的样本数据投影到低维空间中，丢弃某些特征，统合每一个堆特征数据的抽取特征，再对提取的特征值全连接进行最终的分类确认。