[发明专利]一种用于运动图像处理装置、方法及存储介质

权利要求书

1.一种运动图像处理装置，其特征在于，包括：

视频采集模块，用于获取由摄像头采集的人员监控视频；

关键帧提取模块，用于从所述人员监控视频提取多个人员监控关键帧；

人员行为空间特征提取模块，用于将所述多个人员监控关键帧通过基于三维卷积神经网络模型的行为空间维度特征提取器以得到人员行为空间特征图；

光流图像提取模块，用于使用光流图像提取网络从所述多个人员监控关键帧提取光流图像的序列；

人员行为时间特征提取模块，用于将所述光流图像的序列通过基于三维卷积神经网络模型的行为时间维度特征提取器以得到人员行为时间特征图；

特征融合模块，用于融合所述人员行为空间特征图和所述人员行为时间特征图以得到分类特征图；

特征优化模块，用于对所述分类特征图进行特征分布优化以得到优化分类特征图；

以及预警提示模块，用于将所述优化分类特征图通过分类器以得到分类结果，所述分类结果用于表示是否产生异常预警提示。

2.根据权利要求1所述的运动图像处理装置，其特征在于，所述人员行为空间特征提取模块，用于：使用所述基于三维卷积神经网络模型的行为空间维度特征提取器的各层在层的正向传递中分别对输入数据进行如下处理：

对输入数据进行卷积处理以得到卷积特征图；

对所述卷积特征图进行基于局部特征矩阵的池化以得到池化特征图；

以及对所述池化特征图进行非线性激活以得到激活特征图；

其中，所述基于三维卷积神经网络模型的行为空间维度特征提取器的最后一层的输出为所述人员行为空间特征图，所述基于三维卷积神经网络模型的行为时间维度特征提取器的第一层的输入为所述人员监控关键帧。

3.根据权利要求2所述的运动图像处理装置，其特征在于，所述人员行为时间特征提取模块，用于使用所述基于三维卷积神经网络模型的行为空间维度特征提取器的各层在层的正向传递中分别对输入数据进行如下处理：

对输入数据进行卷积处理以得到卷积特征图；

对所述卷积特征图进行基于局部特征矩阵的池化以得到池化特征图；

以及对所述池化特征图进行非线性激活以得到激活特征图；

其中，所述基于三维卷积神经网络模型的行为时间维度特征提取器的最后一层的输出为所述人员行为时间特征图，所述基于三维卷积神经网络模型的行为时间维度特征提取器的第一层的输入为所述光流图像的序列。

4.根据权利要求3所述的运动图像处理装置，其特征在于，所述特征融合模块，用于以如下级联公式来融合所述人员行为空间特征图和所述人员行为时间特征图以得到分类特征图；

其中，所述公式为：

；

其中，表示所述人员行为空间特征图，表示所述人员行为时间特征图，表示级联函数，表示所述分类特征图。

5.根据权利要求4所述的运动图像处理装置，其特征在于，所述特征优化模块，包括：

优化因数计算单元，用于计算所述分类特征图中各个位置特征值的位置信息图式场景注意力无偏估计因数以得到多个位置信息图式场景注意力无偏估计因数；

以及加权优化单元，用于以所述多个位置信息图式场景注意力无偏估计因数作为加权系数对所述分类特征图的各个位置特征值进行加权优化以得到所述优化分类特征图。

6.根据权利要求5所述的运动图像处理装置，其特征在于，所述特征优化模块，用于以如下优化公式计算所述分类特征图中各个位置特征值的位置信息图式场景注意力无偏估计因数以得到所述多个位置信息图式场景注意力无偏估计因数；

其中，所述优化公式为：

；

其中，是所述分类特征图中各个位置特征值，为所述分类特征图的各个位置特征值的位置坐标，且是所述分类特征图的所有特征值的全局均值，和分别代表将二维实数和三维实数映射为一维实数的函数，、和分别是所述分类特征图的宽度、高度和通道数，表示以2为底的对数函数值，表示所述多个位置信息图式场景注意力无偏估计因数中的各个位置信息图式场景注意力无偏估计因数。