[发明专利]一种基于多流神经网络的实时视频分类方法及装置

摘要

本公开涉及一种基于多流神经网络的实时视频分类方法及装置，包括从待分类视频中提取视频帧和运动矢量；利用光流神经网络，提取所述待分类视频的光流；利用所述光流调整所述运动矢量；将所述视频帧、提取的光流和调整后的运动矢量输入多流神经网络，并根据所述多流神经网络的输出结果确定所述待分类视频的类别。通过引入光流神经网络节省了光流的提取时间，根据本公开实施例的视频分类方法及装置能够节省光流的提取时间，提高了视频分类的实时性。

主权项

1.一种视频分类方法，其特征在于，包括：

从待分类视频中提取视频帧和运动矢量；

利用光流神经网络，提取所述待分类视频的光流；

利用所述光流调整所述运动矢量；

将所述视频帧、提取的光流和调整后的运动矢量输入多流神经网络，并根据所述多流神经网络的输出结果确定所述待分类视频的类别。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

以相邻视频帧和与相邻视频帧对应的运动矢量为输入，以与相邻视频帧对应的光流为真值，训练所述光流神经网络。

3.根据权利要求1所述的方法，其特征在于，利用所述光流调整所述运动矢量，包括：

针对视频帧的每个点，若该点对应邻域内的第一光流均小于或等于光流阈值，则将所述邻域内的光流的平均值作为该点的运动矢量。

4.根据权利要求1所述的方法，其特征在于，所述多流神经网络包括第一子网络、第二子网络和第三子网络，所述方法还包括：

分别以视频帧、提取的光流和调整后的运动矢量为输入，视频类别为真值，训练多流神经网络的第一子网络、第二子网络和第三子网络。

5.根据权利要求4所述的方法，其特征在于，将所述视频帧、提取的光流和调整后的运动矢量输入多流神经网络中，确定所述待分类视频的类别，包括：

分别将所述视频帧、提取的光流和调整后的运动矢量输入多流神经网络的第一子网络、第二子网络和第三子网络中，得到各子网络对应的分类概率；

针对每一类别的分类概率，将各子网络对应的分类概率中与该类别对应的分类概率求和得到该类别对应的分类概率之和，将分类概率之和的最大值对应的类别作为所述待分类视频的类别。

6.一种视频分类装置，其特征在于，包括：

视频帧和运动矢量提取模块，用于从待分类视频中提取视频帧和运动矢量；

光流提取模块，用于利用光流神经网络，提取所述待分类视频的光流；

运动矢量调整模块，用于利用所述光流调整所述运动矢量；

类别确定模块，用于将所述视频帧、提取的光流和调整后的运动矢量输入多流神经网络，并根据所述多流神经网络的输出结果确定所述待分类视频的类别。

7.根据权利要求6所述的装置，其特征在于，所述装置还包括：

光流神经网络训练模块，用于以相邻视频帧和与相邻视频帧对应的运动矢量为输入，以与相邻视频帧对应的光流为真值，训练所述光流神经网络。

8.根据权利要求6所述的装置，其特征在于，所述运动矢量调整模块包括：

运动矢量调整单元，用于针对视频帧的每个点，若该点对应邻域内的第一光流均小于或等于光流阈值，则将所述邻域内的光流的平均值作为该点的运动矢量。

9.根据权利要求6所述的装置，其特征在于，所述多流神经网络包括第一子网络、第二子网络和第三子网络，所述装置还包括：

多流神经网络训练模块，用于分别以视频帧、提取的光流和调整后的运动矢量为输入，视频类别为真值，训练多流神经网络的第一子网络、第二子网络和第三子网络。

10.根据权利要求9所述的装置，其特征在于，所述类别确定模块包括：

多流神经网络输入单元，用于分别将所述视频帧、提取的光流和调整后的运动矢量输入多流神经网络的第一子网络、第二子网络和第三子网络中，得到各子网络对应的分类概率；

类别确定单元，用于针对每一类别的分类概率，将各子网络对应的分类概率中与该类别对应的分类概率求和得到该类别对应的分类概率之和，将分类概率之和的最大值对应的类别作为所述待分类视频的类别。

11.一种视频分类装置，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：执行权利要求1‑5中任意一项所述的方法。

12.一种非临时性计算机可读存储介质，当所述存储介质中的指令由处理器执行时，使得处理器能够执行根据权利要求1‑5中任意一项所述的方法。