[发明专利]基于单帧和连续多帧抽样并行的视频搜索方法

说明书

本发明公开了一种基于单帧和连续多帧抽样并行的视频搜索方法，包括：训练多路神经网络；将待搜索视屏按时序分堆处理为多个视频堆，对每个视频堆的帧随机连续采样得到若干帧，得到堆采样视频数据集，再对每个视屏堆分别进行随机图像帧采样，每个视屏堆随机采样获取一个单帧，得到单帧采样视屏数据集；将所述堆采样视频数据集和单帧采样视屏数据集分别输入到所述多路神经网络中进行堆采样特征向量的获取以及单帧采样特征向量的获取，并利用该多路神经网络将提取的图像特征向量抽取得到最终的视频特征进行视频搜索；本发明可提高视频搜索的准确性。

技术领域

本发明涉及人工智能计算机视觉处理技术领域，特别是一种基于单帧和连续多帧抽样并行的视频搜索方法。

背景技术

随着传统实体经济越来越智能化，人们开始不断使用快速发展的互联网技术，以此来提高日常的生活品质。视频搜索作为智能终端目前的主要功能之一，在现实中的使用频率越来越高，而对于视频的搜索多基于文字信息和图片信息。针对图片信息的神经网络结构中，依赖单帧的神经网络搜索的网络越来越多，但是当前网络的效果并不好，搜索系统在进行图像特征提取时，所使用的单帧内容采样零散随机，并没有覆盖整个视频，因此丢失了较多的信息，使得网络本身对于本身视频信息的获取有偏差。

现有利用神经网络依赖提取图像帧特征来搜索视频的方法，在采样时均是采集一定数量的图像帧，再将它们作为单帧考虑成独立的图片来提取共同特征，再去和目标视频进行比对后确定搜索对象。这种方法有两个问题：首先，采样图像帧时，采样间隔过大，或是帧数采集数量过少，都会导致模型本身对于原视频的特征捕获不够准确，对图像之间相关性较强的部分不能有效捕捉。其次，目前方法提取的特征较少，比较适应采样的图像帧局部特征有微小变化的情况，相对的容错率较低，对于图像特征的提取和统计都容易产生一定的偏差。图像特征的提取效果直接影响视频识别的效率，所以目前的方案缺陷降低了视频搜索的准确率。

发明内容

为解决现有技术中存在的问题，本发明的目的是提供一种基于单帧和连续多帧抽样并行的视频搜索方法，首先对视频流采样，采样方式分为堆采样和单帧采样两种；单帧采样以单个图像帧为采样输出(RGB图像)，表示视频中某一帧的静态信息；堆采样是以单帧为基准，采样时序连续的多帧图像(RGB)堆叠在一起为输入；将两路采样数据的特征向量，分别输入到神经网络训练，将提取的图像特征向量抽取得到最终的视频特征进行视频搜索，提高视频搜索的准确性。

为实现上述目的，本发明采用的技术方案是：一种基于单帧和连续多帧抽样并行的视频搜索方法，包括：

训练多路神经网络；

将待搜索视屏按时序分堆处理为多个视频堆，对每个视频堆的帧随机连续采样得到若干帧，得到堆采样视频数据集，再对每个视屏堆分别进行随机图像帧采样，每个视屏堆随机采样获取一个单帧，得到单帧采样视屏数据集；

将所述堆采样视频数据集和单帧采样视屏数据集分别输入到所述多路神经网络中进行堆采样特征向量的获取以及单帧采样特征向量的获取，并利用该多路神经网络将提取的图像特征向量抽取得到最终的视频特征进行视频搜索。

作为一种优选的实施方式，训练多路神经网络具体包括以下步骤：

数据的随机采样，按间隔将数据分为多堆进行数据采样，将基于单帧和连续多帧抽样取样的数据放到接下来每一路神经网络之中进行特征向量提取；

将每一堆数据都放入一路神经网络之中，训练提取特征的卷积层，一路神经网络有多个由残差模块组成的卷积层，最终将由卷积层提取出一定的相应特征；

对于每一路神经网络，最后将接入一个全连接层，对于输入的特征图进行一定程度地分类，最后得出该视频在各种类上的得分；