[发明专利]视频检测方法、视频检测装置和电子设备

权利要求书

1.一种视频检测方法，包括：

确定当前帧图像的类型；

基于所述类型，通过神经网络确定当前帧图像用于参与融合的第一特征图；

确定所述当前帧图像之前的所述类型为设定类型的先前帧图像的第二特征图；

融合所述第一特征图和所述第二特征图，得到第三特征图；

基于所述第三特征图，识别所述当前帧图像中的物体所属的类别；

其中，基于所述类型，通过神经网络确定当前帧图像用于参与融合的第一特征图，包括：若所述当前帧图像的类型为关键帧图像，通过神经网络的第一数目的卷积层获得所述当前帧图像用于参与融合的第一特征图，所述第一数目大于或等于预定阈值；

融合所述第一特征图和所述第二特征图，得到第三特征图包括：通过神经网络的第二数目的卷积层获得所述当前帧图像的第四特征图，所述第二数目小于所述预定阈值；通过所述神经网络的所述第二数目的卷积层获得所述先前帧图像的第五特征图；通过权重预测网络从所述第四特征图和所述第五特征图获得第一权重和第一偏移；基于所述第一权重和第一偏移从所述第二特征图获得第六特征图；以及聚合所述第六特征图和所述第一特征图以得到所述第三特征图；

其中，通过权重预测网络从所述第四特征图和所述第五特征图获得第一权重和第一偏移包括：将所述第四特征图和所述第五特征图通过所述权重预测网络中的级联部分进行级联以获得级联特征；以所述权重预测网络中的第一卷积核将所述级联特征减小到第一特定通道以获得减小特征；以所述权重预测网络中的划分部分将所述减小特征划分为多个减小的浅层特征；以所述权重预测网络中的关联部分对所述多个减小的浅层特征进行关联以获得关联特征；以所述权重预测网络中的具有所述第一特定通道数的第二卷积核和逻辑递归操作之后的第二通道获得所述第一权重；以及以所述权重预测网络中的具有第三通道的第三卷积核获得所述第一偏移。

2.如权利要求1所述的视频检测方法，其中，基于所述第一权重和第一偏移从所述第二特征图获得第六特征图包括：

针对所述第六特征图中的每个待计算位置，计算在所述待计算位置的局部邻域核权重大小和所述待计算位置周围的局部邻域指数；

以所述局部邻域指数指定的位置处的第一权重对所述第二特征图在所述待计算位置在所述局部邻域指数与所述第一偏移的差值指示的邻域内的特征值进行加权以获得加权特征值；

对所述加权特征值在所述局部邻域核权重大小的范围内求和以获得所述第六特征图在所述待计算位置的特征值。

3.如权利要求1所述的视频检测方法，其中，聚合所述第六特征图与所述第一特征图以获得所述第三特征图包括：

通过三个随机初始化的卷积层从所述第六特征图和所述第一特征图获得所述第三特征图。

4.如权利要求1所述的视频检测方法，其中，基于所述类型，通过神经网络确定当前帧图像用于参与融合的第一特征图，包括：

若所述当前帧图像的类型为非关键帧图像，通过神经网络的第三数目的卷积层获得所述当前帧图像用于参与融合的第一特征图，所述第三数目小于或等于预定阈值。

5.如权利要求4所述的视频检测方法，其中，融合所述第一特征图和所述第二特征图，得到第三特征图包括：

通过所述神经网络的第四数目的卷积层获得所述先前帧图像的第七特征图，所述第四数目小于或等于所述预定阈值；

通过权重预测网络从所述第一特征图和所述第七特征图获得第二权重和第二偏移；以及

基于所述第二权重和第二偏移从所述第二特征图获得第三特征图。