[发明专利]一种基于运动边界小位移的高效运动表征方法及装置

权利要求书

1.一种基于运动边界小位移的高效运动表征方法，包括以下步骤：

步骤1、抽取视频序列中的相邻N帧的原始图像；

步骤2、利用卷积神经网络处理相邻N帧的原始图像，获得相应的浅层特征图；

步骤3、对相邻N帧的所有相邻两帧的浅层特征图进行差异计算，获得所有相邻两帧在特征空间中的差异图；

步骤4、将所有相邻两帧在特征空间中的差异图沿着通道维度进行差异累积；

步骤5、按编码方案对差异累积结果进行编码，从而获得本发明所述的高效运动表征。

2.根据权利要求1所述的方法，其特征在于：

在步骤1中，所述相邻N帧为在时序关系上相邻的N个图像帧，N为预先设定好的大于等于2的整数，则一段视频序列抽取相邻N帧的原始图像作为采样帧；

在步骤2中，所述卷积神经网络包括卷积层、批正则化层、ReLU层；所述卷积神经网络的输入是N个相邻采样帧的原始图像，输出是卷积神经网络特定层对应N组帧级别的特征图，作为该帧在特征空间上的外观表征；

在步骤3中，所述差异计算具体指在特征空间层面对特征图进行对应通道对应像素位置的差异计算；设定这N帧的特征图通道数为C，则对相邻N帧的所有相邻两帧的特征图进行逐通道差异计算后，获得N-1组特征差异图，每组特征差异图的通道数仍为C；

在步骤4中，所述差异累积以组为单位，每组特征差异图的差异累积沿着该组的通道维度进行，差异累积操作完成后，通道数变为1，则N-1组通道数为C的特征差异图在差异累积后的通道数变为1；

在步骤5中，所述编码方案用于对差异结果进行编码，不同的任务需采用不同的编码方案，进而得到任务相关的所述高效运动表征。

3.根据权利要求1或2所述的方法，其特征在于，所述差异计算的具体步骤为：设定一段视频序列抽取相邻两帧的原始图像作为采样帧，所述卷积神经网络输出的相邻两帧浅层特征图为集合{F_i(p,t)}和{F_i(p,t+Δt)}，通道数为C，空间分辨率“宽度×高度”为“W×H”；其中，C、W和H均为大于等于1的整数，i代表通道索引，i的取值范围为闭区间[1,C]，p=(x,y)为特征图空间维度上的任意一点坐标，x的取值范围为闭区间[1,W]，y的取值范围为[1,H]，t代表相邻两帧中靠前的一帧的时间戳，t+Δt代表相邻两帧中靠后的一帧的时间戳；则对相邻两帧浅层特征图进行差异计算所得到的第i个通道的差异图元素D_i(p,Δt)可以表示为：

D_i(p,Δt)=F_i(p,t+Δt)-F_i(p,t)；

则所述对相邻两帧浅层特征图进行差异计算后将会得到1组C个空间分辨率为W×H的差异图，表示为集合{D_i(p,Δt)}。

4.根据权利要求1或2所述的方法，其特征在于，所述差异累积的具体步骤为：设定相邻两帧浅层特征图进行差异计算后得到的差异图为集合{D_i(p,Δt)}，则沿着通道维度进行差异累积可以表示为：

；

上式D为差异累积结果，通道数由C压缩为1，空间分辨率不变，仍为W×H。

5.根据权利要求1或2所述的方法，其特征在于，所述编码方案为：设定对相邻N帧的所有相邻两帧的浅层特征图进行差异计算和差异累积后得到N-1个通道数为1的差异累积结果，将他们按时序进行通道合并，则得到1组通道数为N-1的特征作为所述运动表征。

6.根据权利要求1至3任意一项所述的方法，其特征在于，所述采样帧的原始图像为3通道RGB彩色图像。

7.根据权利要求1或3或4所述的方法，其特征在于，所述浅层特征图为只通过卷积神经网络的第一层部分，即只经过一组卷积层输出的特征图。

8.一种基于运动边界小位移的高效运动表征装置，其特征在于，包括：

相邻帧采样单元，用于对视频序列的相邻多帧进行采样处理，获得多个相邻采样帧的原始图像；

浅层特征提取单元，用于利用浅层卷积神经网络对采样帧进行抽象化处理，获得所述用于代表各采样帧的浅层特征图；

差异计算单元，用于对所述相邻N帧的所有相邻两帧的浅层特征图进行差异计算，获得在特征空间中的差异图；

差异累积单元，用于对所述所有相邻两帧在特征空间中的差异图沿着通道维度进行差异累积，获得所述差异累积结果；

编码单元，用于采用编码方案对差异累积结果进行编码，获得本发明所述的高效运动表征。