[发明专利]一种基于深特征提取异步融合网络的动作识别方法

说明书

本发明中提出的一种基于深特征提取异步融合网络的动作识别方法，其主要内容包括：粗粒度到细粒度网络、异步融合网络、深特征提取异步融合网络。其过程为，先将输入视频外观流的每个空间帧和运动流的每个短期光流堆栈输入到粗粒度到细粒度网络，集成多个动作类粒度的深度特征，并创建了一个更精确的特征表示，然后将提取出的特征输入集成不同时间点信息流特征的异步融合网络，获得一个动作类预测结果，最后深特征提取异步融合网络组合不同的动作预测结果，确定输入视频的最终动作类标签。本发明能从多个动作类粒度中提取并集成深层特征，获得更精确的动作表示，同时异步融合能更好地利用多个信息流中的互补信息，提高动作识别的准确度。

技术领域

本发明涉及计算机视觉分析领域，尤其是涉及了一种基于深特征提取异步融合网络的动作识别方法。

背景技术

动作识别，旨在识别输入动作视频的动作类标签。由于它在许多应用中的重要性，动作识别已经引起了很多研究人员的关注，并成为计算机视觉分析领域的热点方向。动作识别技术可以满足智能视频监控、基于内容的视频分析等任务对自动分析以及智能化的需求，推动社会发展进步。动作识别技术可以应用在智能监护上，提高监护质量，节约大量人力资源；还可以运用在智能家居中，实时监测人体动作，对危险动作做出预计，避免意外造成的伤害；动作识别技术还可以协助监控社会治安，如对打架斗殴动作、偷窃动作等进行检测和识别，阻断社会恶性事件的进一步发展，对维护社会安全和降低犯罪率有着巨大的实用价值。然而由于视频场景的变化巨大以及与视频主题无关的嘈杂内容的干扰，卷积网络自动习得特征技术在动作识别上取得的进步相对较少；且大多数人关注的是如何学习特征以直接描述动作类的行为、如何引入更多的信息流或加强流之间的相关性，因此，现有的技术在区分动作类的模糊性方面有着局限性。

本发明提出了一种基于深特征提取异步融合网络的动作识别方法，先将输入视频外观流的每个空间帧和运动流的每个短期光流堆栈输入到粗粒度到细粒度网络，集成多个动作类粒度的深度特征，并创建了一个更精确的特征表示，然后将提取出的特征输入集成不同时间点信息流特征的异步融合网络，获得一个动作类预测结果，最后深特征提取异步融合网络组合不同的动作预测结果，确定输入视频的最终动作类标签。本发明能从多个动作类粒度中提取并集成深层特征，获得更精确的动作表示，同时异步融合能更好地利用多个信息流中的互补信息，提高动作识别的准确度。

发明内容

针对区分动作类模糊性方面存在局限性的问题，本发明的目的在于提供一种基于深特征提取异步融合网络的动作识别方法，先将输入视频外观流的每个空间帧和运动流的每个短期光流堆栈输入到粗粒度到细粒度网络，集成多个动作类粒度的深度特征，并创建了一个更精确的特征表示，然后将提取出的特征输入集成不同时间点信息流特征的异步融合网络，获得一个动作类预测结果，最后深特征提取异步融合网络组合不同的动作预测结果，确定输入视频的最终动作类标签。

为解决上述问题，本发明提供一种基于深特征提取异步融合网络的动作识别方法，其主要内容包括：

(一)粗粒度到细粒度网络；

(二)异步融合网络；

(三)深特征提取异步融合网络；

其中，所述的粗粒度到细粒度网络，主要由特征提取模块、自适应类群形成模块和粗粒度到细粒度集成模块这三个模块组成；特征提取模块应用于一个卷积网络上，用于从不同的动作类粒度中提取深度特征；自适应类群形成模块用于保证特征提取模块中适当的特征提取；粗粒度到细粒度集成模块用于逐步集成从粗粒度到细粒度的特征，并为输入帧/光学流堆栈输出一个精确的特征。

进一步地，所述的特征提取模块，从VGG-16卷积网络的第3、4和5级的最后一个卷积层分别获取侧输出映射，分别切割这三个侧输出映射，并连接到三个特定标度的侧映射组，其中每个侧映射组对应一个动作类粒度，同时为了确保不同级的输出映射具有相同的大小，在映射连接之前，将超采样层应用于侧输出映射，最后，特定标度的侧映射组分别被输入到一个完全连接(FC)层，以获得三个动作类粒度的特征。