[发明专利]一种基于深度学习的视频检索方法

权利要求书

1.一种基于深度学习的视频检索方法，其特征在于，包括以下步骤：

S1：建立用于视频特征提取的深度学习网络模型G；所述步骤S1的具体过程是：

S11：建立G网络的第一层视频向量层，将预处理后的每个视频中的每一帧照片表示成一个低纬、稠密的实数向量，在大规模标注照片上预训练好的图片模型Resnet，将整个视频表示成视频向量矩阵X＝[x1,…,xt,…,xn]，其中n是视频帧数，向量矩阵X的维度是照片预处理大小112*112；

S12：建立G网络的第二层ResNet层，在这一层中让模型学习到整个视频的上下文信息，对于向量X，每一帧图片是向量中的一个元素，第t个帧元素表示为xt，通过ResNet模型后提取到一组设定好的nbit长度的特征向量；步骤S12中，特征提取过程如下：先将ResNet模型经过Kinetics视频数据集进行预训练，然后再进行微调，每个视频经过预训练好的ResNet模型后，会生成一组k大小的特征数向量，这个k是指视频有k种分类；然后再经过一个Linear层转换成自定义的n长度的特征数；

S13：建立G网络的第三层特征向量Hash层，将ResNet输出的特征向量进行Hash转化成0、1值的向量，以此减少存储空间；

S2：对步骤S1中得到的模型进行训练与测试；所述步骤S2的具体过程是：

S21：将数据集分为训练数据以及测试数据；

S22：整体的模型要进行训练，G网络的训练步骤如下：由G网络提取出视频特征，由损失函数L1的最小化来训练G网络模型，训练G网络的参数；

S23：模型的测试步骤为：先过第一遍测试数据集，将测试数据输入到G网络，然后由G网络生成特征，将特征存储到数据库DB1，然后进行第二遍特征mAP计算，将每一个视频的特征与DB1中数据进行距离计算，之后进行mAP计算；

S3：利用S3中得到的弄醒建立用于提供后台接口的进程，提供检索入口以及返回检索结果。

2.根据权利要求1所述的基于深度学习的视频检索方法，其特征在于，所述步骤S3的具体过程是：

S31：将训练后的ResNet模型保存下来；

S32：创建一个后台服务进程，预留视频输入的接口；

S33：通过访问S32中创建的接口，将视频输入进去，之后S32的后台服务进程会先对视频进行预处理，处理成S31的ResNet模型所需要的输入格式，接下来调取S31中保存的ResNet模型，将处理好的视频输入进模型，并得到nbit的特征数，然后经过Hash后调去数据库中存储的视频特征数据进行距离计算，并按小到大进行排序后返回前k个视频，即最相似的前k个视频为检索结果。

3.根据权利要求2所述的基于深度学习的视频检索方法，其特征在于，步骤S22中，G网络的训练过程中，采用交叉熵损失与三元组损失作为损失函数，并且损失值的大小是根据交叉熵损失与三元组损失的总和，训练过程中采用SGD进行优化，采用Margin设置距离间距，防止过拟合。