[发明专利]一种视频检索方法、装置、设备及存储介质

权利要求书

1.一种视频检索方法，其特征在于：包括：

根据待测视频的时间长度从视频库中获取比对视频片段；

通过空时神经网络确定所述待测视频与所述比对视频片段的相似度，所述空时神经网络的空时卷积层设置为进行二维卷积和时间维度信息处理；

遍历所述视频库，根据相似度输出检索结果。

2.根据权利要求1所述的方法，其特征在于，所述通过空时神经网络确定所述待测视频与所述比对视频片段的相似度，包括：

所述空时神经网络的空时卷积层对所述待测视频的帧图像与所述比对视频片段的帧图像分别进行至少一次时序特征提取；

所述空时神经网络的形状变换层对提取的时序特征进行空间维度处理；

所述空时神经网络的泄漏积分发放层根据处理后的空间维度，输出空间信息；

所述空时神经网络的全连接层根据所述空间信息，得到所述待测视频与所述比对视频片段的相似度。

3.根据权利要求2所述的方法，其特征在于，所述空时卷积层包括至少一级空时卷积子层，所述空时卷积子层包括二维卷积突触泄漏积分发放层、归一化层、线性层和平均池化层，所述二维卷积突触泄漏积分发放层对连续的视频帧进行二维卷积后处理连续视频帧的时间维度信息，得到原始时序特征；所述归一化层将所述原始时序特征规范化；所述线性层将规范化的原始时序特征进行线性化处理，所述平均池化层整合线性化的原始时序特征后输出。

4.根据权利要求3所述的方法，其特征在于，所述空时卷积子层的数量为两个或两个以上，则各空时卷积子层之间耦接，下一空时卷积子层对上一空时卷积子层的输出再次进行时序特征提取。

5.根据权利要求1至4任一项所述的方法，其特征在于，在根据待测视频的时间长度从视频库中获取比对视频片段之前，还包括：

采用分类数据集训练得到所述空时神经网络。

6.根据权利要求5所述的方法，其特征在于，所述采用分类数据集训练得到所述空时神经网络，包括：

采用分类数据集训练原始空时神经网络，得到预训练网络，其中，所述原始空时神经网络包括以分类个数作为输出节点个数的全连接层；

将所述预训练网络中的全连接层替换为二分类全连接层，得到所述空时神经网络。

7.根据权利要求1至4任一项所述的方法，其特征在于，在根据待测视频的时间长度从视频库中获取比对视频片段之前，还包括：

从被测视频中选择视频片段，或者从被测视频与负样本视频中选择视频片段输入空时神经网络，得到输入视频片段之间的相似度结果；

将相似度结果与预设标签比较，确定空时神经网络的损失函数；

根据损失函数调整空时神经网络的训练权重。

8.一种视频检索装置，其特征在于，包括：

获取单元，设置为根据待测视频的时间长度从视频库中获取比对视频片段；

空时单元，设置为通过空时神经网络确定所述待测视频与所述比对视频片段的相似度，所述空时神经网络的空时卷积层设置为进行二维卷积和时间维度信息处理；

输出单元，设置为遍历所述视频库，根据相似度输出检索结果。

9.一种设备，其特征在于，包括：

一个或多个处理器；

存储器，设置为存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7任一项所述的方法。

10.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行实现如权利要求1-7任一项所述的方法。