[发明专利]一种基于双通道卷积神经网络的视频在线行为检测方法

权利要求书

1.一种基于双通道卷积神经网络的视频在线行为检测方法，其特征在于，首先，通过光流图片序列生成模块对输入的RGB图进行变换，得到光流图；其次，将得到的光流图与原RGB图通过双通道分别输入至两个相同的轻量双卷积核SSD网络中，分别提取出两种图的时序特征和空间特征以及检测框和置信分值；然后，通过融合模块对两种图片生成的检测框和置信分值进行融合，形成带检测框和置信分值的图片；最后，将带有检测框和置信分值的图片输入在线动作管道，从视频的角度给出最终的行为检测结果。

2.根据权利要求1所述基于双通道卷积神经网络的视频在线行为检测方法，其特征在于，所述光流图片序列生成模块生成的光流图与原RGB图的大小相等。

3.根据权利要求1所述基于双通道卷积神经网络的视频在线行为检测方法，其特征在于，所述轻量双卷积核SSD网络是通过将轻量双卷积核网络作为SSD的基网络而形成的；所述轻量双卷积核网络包含深度可分离卷积和两个模型收缩超参数：宽度乘法器α和分辨率乘法器ρ；所述深度可分离卷积将标准卷积分解成深度卷积和逐点卷积，深度卷积针对每个单个输入通道应用单个滤波器进行滤波，然后逐点卷积应用1x1的卷积操作来结合所有深度卷积得到输出；所述宽度乘法器α∈(0,1]，通过宽度乘法器α将某一层的输入通道数M和输出通道数N改变为αM和αN，实现网络的薄化；所述分辨率乘法器ρ∈(0,1]，通过设置分辨率乘法器ρ来调节输入分辨率的大小，实现网络的薄化。

4.根据权利要求1所述基于双通道卷积神经网络的视频在线行为检测方法，其特征在于，通过融合模块融合两种图片生成的检测框和置信分值的具体过程：当光流图的检测框与RGB图的检测框具有最大面积重叠值，且该重叠值大于设定的阈值时，通过下式得到最终的融合结果：

上式中，为最终的融合结果，为的置信分值，为两个检测框的交集与并集的比值。

5.根据权利要求1所述基于双通道卷积神经网络的视频在线行为检测方法，其特征在于，所述在线动作管道中，设T_i^c为特定类别i的管道片，n_c(t)为每次帧图进来后的管道片数，t为帧图，T为所有帧图数；当t＝1时，n_c(t)＝1；当t＝T-1时，根据置信分值倒序排列从第1帧到第T-1帧的管道片T_i^c；当t＝T时，找出T帧的所有检测框中与最后一个管道片T_i^c的重叠度大于所设阈值的检测框，并将这些检测框中置信分值最高的检测框作为管道片输出；当经过k帧图片没有管道片输出，则终止管道，输出终止管道为最终动作管道，其相应的得分值即为视频的最终行为检测结果。