[发明专利]基于时空注意卷积神经网络的行为识别方法及装置

说明书

本发明属于计算机视觉技术领域，具体涉及一种基于时空注意卷积神经网络的行为识别方法及装置，旨在解决如何准确识别视频中目标行为的技术问题。本发明提供的行为识别方法包括：将待测视频等间隔地分割为多个视频段；基于预先构建的空间注意网络提取每个视频段的光流特征，根据每个视频段的光流特征获取每个视频段的运动显著区域并且根据运动显著区域生成空间运动显著性映射图；基于预先构建的视频分类网络并且根据多个预设的行为类别、每个视频段以及相应的空间运动显著性映射图预测每个视频段对应的行为类别；按可信度降序选取前N个视频段的预测结果的加权平均值作为待测视频的行为识别结果。本发明能够有效提升行为识别的效果。

技术领域

本发明属于计算机视觉技术领域，具体涉及一种基于时空注意卷积神经网络的行为识别方法及装置。

背景技术

人体行为识别技术广泛应用于人机智能交互、虚拟实现和视频监控等领域，其能够对人在不同场景下面的行为进行区分和判断。近年来人体行为识别得到了广泛的研究，提出了大量的算法，基于卷积神经网络的方法主要包括两大类，一类在RGB视频帧和光流帧中分别训练一个深度卷积网络，接着融合两个网络的预测结果能有效提升单个神经网络的识别精度；另一类是利用人体关节点坐标或者人体边界框提取人体部位的表观特征，再利用该表观特征进行行为分类预测。

在真实场景中有效的人体行为识别仍然非常困难，主要的挑战来自于视频数据的复杂性、类内散度大、背景运动和相机运动等。视频中不同时间片段及不同空间区域对分类贡献差别很大，传统的行为识别算法同等对待不同时间片段及不同空间区域信息，这将会引入干扰信息到分类模型中。为了定位视频中的显著区域，通常在行为识别中引入视觉注意机制，然而以往的基于视觉注意机制的行为识别方法仅包含空域的视觉注意机制，而没有涉及时域的视觉注意机制，并且计算复杂度高，实验效果并不理想。在利用人体关节点坐标或者人体边界框提取人体部位的表观特征的方法中，需要手工标注人体关节点坐标和人体边界框，这将至少带来以下两个缺点：1)人体关节点坐标和边界框的标注依赖设备并需要大量人力和时间；2)在行为识别中，不是所有的人体部位都具有判别性。参阅附图5，图5示例性示出的是行为识别任务中视频段及对应的空间运动显著区域的对比图，第一行示出的视频图片，第二行为对应于第一行视频图片的空间运动显著区域。从左向右数第一列图片可以看出人体具有判别性的区域在眼睛周围，从左向右数第二列图片中可以看出人体的关键部位是嘴巴，这两列图片的背景和运动都非常相似，但这两个视频分别属于不同的人体行为。相反，从左向右数第三列和第四列对应的图片属于相同的人体行为，但视频中的场景差别很大。

发明内容

为了解决现有技术中的上述问题，即为了解决如何准确识别视频中目标行为的技术问题，本发明的第一方面，提供了一种基于时空注意卷积神经网络的行为识别方法，包括：

将待测视频等间隔地分割为多个视频段；

基于预先构建的空间注意网络提取每个所述视频段的光流特征，根据每个所述视频段的光流特征获取每个所述视频段的运动显著区域并且根据所述运动显著区域生成空间运动显著性映射图；

基于预先构建的视频分类网络并且根据多个预设的行为类别、每个所述视频段以及相应的空间运动显著性映射图预测所述每个视频段对应的行为类别；

计算每个所述视频段的预测结果的可信度，并且按所述可信度降序选取前N个视频段的预测结果，以所述前N个视频段的预测结果的加权平均值作为所述待测视频的行为识别结果；

其中，所述空间注意网络和视频分类网络均是基于预设的视频样本并且利用机器学习算法所构建的深度卷积神经网络；所述空间运动显著性映射图包括所述运动显著区域的位置坐标和每个所述位置坐标对应的显著性权值。

进一步地，本发明提供的一个优选技术方案为：

所述空间注意网络还包括空间运动显著性映射图生成器和第一卷积处理单元，所述第一卷积处理单元包括多个顺次连接的卷积层，所述空间运动显著性映射图生成器包括卷积层；