[发明专利]一种基于视频前后帧相关信息感知的运动特征提取方法

说明书

本发明公开了一种基于视频前后帧相关信息感知的运动特征提取方法，该方法首先使用神经网络方法提取目标视频的特征，然后根据该特征显式地提取前后帧特征之间的相关性信息特征，最后将提取的目标视频的特征与相关性信息特征结合，使用神经网络方法提取目标视频的运动特征。本发明显式地提取了视频前后帧之间的相关信息，可以替代光流信息的提取模块并快速的与现有的各种运动信息提取网络整合，减少了光流提取的计算和时间成本，提高网络的识别能力，方法简便，手段灵活。

技术领域

本发明涉及图像识别技术领域，尤其涉及一种神经网络获取方法。

背景技术

目前，动作识别作为视频自动分析的重要基础，将在智能监控，新零售、人机互动，教育教学等一系列应用场景中发挥重要的作用。

例如，在安防监控场景中，若能很好的识别出扒窃，撬锁，打斗等异常行为，能够起到减少人力监控成本、维护治安的重要功能；在新零售领域中，动作识别有助于更好的理解用户行为，自动分析顾客喜好，提升用户体验。

但是，目前的动作识别神经网络主要集中于长短期记忆网络(Long Short-TermMemory，简称LSTM)、时标网状图(time scalar network，简称TSN)等传统的图像识别神经网络方法。提取帧与帧之间的信息需要借助光流图等手段方法，但是光流的计算需要消耗大量的计算力，存储力和时间，因此目前无法直接用于实际使用。

发明内容

本发明的目的在于针对现有技术的不足，提供一种基于视频前后帧相关信息感知的运动特征提取方法。

本发明的目的是通过以下技术方案来实现的：一种基于视频前后帧相关信息感知的运动特征提取方法，包括以下步骤：

(1)使用神经网络方法，提取目标视频的特征；

(2)根据步骤1提取的特征，显式地提取前后帧特征之间的相关性信息特征；

(3)将步骤1提取的目标视频的特征与步骤2提取的相关性信息特征结合，使用神经网络方法提取目标视频的运动特征。

进一步地，所述步骤1具体为：

对目标视频的输入，使用二维神经网络来提取目标视频的特征；

或者对目标视频的输入，使用三维神经网络来提取目标视频的特征。

进一步地，所述步骤2包括以下子步骤：

(2.1)将步骤1提取的目标视频的特征作为输入特征，通过一层卷积核大小为1x1的卷积网络层，生成新的特征；

(2.2)根据上述新的特征，通过以sobel算子或时序特征差值为卷积核的卷积网络层生成相关性信息特征。

进一步地，所述步骤2.2中，所述卷积网络层优选以向量维度为3x3的x方向的sobel算子为卷积核的卷积网络层、以向量维度为3x3的y方向的sobel算子为卷积核的卷积网络层、以向量维度为2x1x1，值为[-1,1]的向量为卷积核的卷积网络层；

进一步地，所述步骤3具体为：将步骤1提取的目标视频的特征与步骤2提取的相关性信息特征直接相加得到新生成的特征，将新生成的特征通过一层卷积核大小为1x1的卷积神经层，生成目标视频的运动特征；或者为：将步骤1提取的目标视频的特征与步骤2提取的相关性信息特征在特征维度上拼接在一起，得到新生成的特征，将新生成的特征通过一层卷积核大小为1x1的卷积神经层，生成目标视频的运动特征。

本发明的有益效果是，本发明显式地提取了视频前后帧之间的相关信息，可以替代光流信息的提取模块并快速的与现有的各种运动信息提取网络整合，减少了光流提取的计算和时间成本，提高网络的识别能力，方法简便，手段灵活。

附图说明