[发明专利]一种基于多流神经网络的实时视频分类方法及装置

说明书

本公开涉及一种基于多流神经网络的实时视频分类方法及装置，包括从待分类视频中提取视频帧和运动矢量；利用光流神经网络，提取所述待分类视频的光流；利用所述光流调整所述运动矢量；将所述视频帧、提取的光流和调整后的运动矢量输入多流神经网络，并根据所述多流神经网络的输出结果确定所述待分类视频的类别。通过引入光流神经网络节省了光流的提取时间，根据本公开实施例的视频分类方法及装置能够节省光流的提取时间，提高了视频分类的实时性。

技术领域

本公开涉及计算机视觉技术领域，尤其涉及一种视频分类方法及装置。

背景技术

视频分类是指对于给定的视频，使机器能够正确识别出视频中的内容。视频分类可以应用在虚拟游戏、智能驾驶、社区监控、资源分类等方面。

相关技术中，基于神经网络的视频分类方法采用的是双流网络结构。一方面，以RGB为输入，编码视频帧的纹理信息；另一方面，以相邻帧的光流为输入，编码视频的运动信息。这两个流的预测结果求和，最大值对应的分类结果，为视频对应的分类结果。

然而，上述双流网络结构中光流的提取比较耗时，难以进行实时监测。

发明内容

有鉴于此，本公开提出了一种视频分类方法及装置，能够节省视频分类的时间。

根据本公开的一方面，提供了一种一种视频分类方法，包括：从待分类视频中提取视频帧和运动矢量；利用光流神经网络，提取所述待分类视频的光流；利用所述光流调整所述运动矢量；将所述视频帧、提取的光流和调整后的运动矢量输入多流神经网络，并根据所述多流神经网络的输出结果确定所述待分类视频的类别。

在一种可能的实现方式中，所述方法还包括：以相邻视频帧和与相邻视频帧对应的运动矢量为输入，以与相邻视频帧对应的光流为真值，训练所述光流神经网络。

在一种可能的实现方式中，利用所述光流调整所述运动矢量，包括：针对视频帧的每个点，若该点对应邻域内的第一光流均小于或等于光流阈值，则将所述邻域内的光流的平均值作为该点的运动矢量。

在一种可能的实现方式中，所述多流神经网络包括第一子网络、第二子网络和第三子网络，所述方法还包括：分别以视频帧、提取的光流和调整后的运动矢量为输入，视频类别为真值，训练多流神经网络的第一子网络、第二子网络和第三子网络。

在一种可能的实现方式中，将所述视频帧、提取的光流和调整后的运动矢量输入多流神经网络中，确定所述待分类视频的类别，包括：分别将所述视频帧、提取的光流和调整后的运动矢量输入多流神经网络的第一子网络、第二子网络和第三子网络中，得到各子网络对应的分类概率；针对每一类别的分类概率，将各子网络对应的分类概率中与该类别对应的分类概率求和得到该类别对应的分类概率之和，将分类概率之和的最大值对应的类别作为所述待分类视频的类别。

根据本公开的另一方面，提供了一种视频分类装置，包括：视频帧和运动矢量提取模块，用于从待分类视频中提取视频帧和运动矢量；光流提取模块，用于利用光流神经网络，提取所述待分类视频的光流；运动矢量调整模块，用于利用所述光流调整所述运动矢量；类别确定模块，用于将所述视频帧、提取的光流和调整后的运动矢量输入多流神经网络，并根据所述多流神经网络的输出结果确定所述待分类视频的类别。

在一种可能的实现方式中，所述装置还包括：光流神经网络训练模块，用于以相邻视频帧和与相邻视频帧对应的运动矢量为输入，以与相邻视频帧对应的光流为真值，训练所述光流神经网络。

在一种可能的实现方式中，所述运动矢量调整模块包括：运动矢量调整单元，用于针对视频帧的每个点，若该点对应邻域内的第一光流均小于或等于光流阈值，则将所述邻域内的光流的平均值作为该点的运动矢量。