[发明专利]一种基于第一视角RGB-D数据的手部动作识别方法

说明书

本发明提出一种基于第一视角RGB‑D数据的手部动作识别方法，包含以下步骤：佩戴RGB‑D传感器采集多个的视频片段；将RGB‑D传感器采集到数据进行预处理，并进行数据增强，制作对应的标签，形成数据集；将不同动作进行尺寸统一处理后，针对RGB图像序列提取空间信息；计算RGB图像序列中两个相邻帧之间的光流，得到对应的光流图像序列，基于Resnet网络提取光流图像的时序信息；采用注意力机制的方法提取深度图像序列的图像序列结构信息；针对三种数据提取到的特征，采用多模态学习网络，分别提取他们的共有信息和特有信息进行训练，最后融合共有信息和特有信息，对动作进行识别。本发明可以充分结合RGB视频和深度视频的信息，具有更好的鲁棒性和更高的识别准确率。

技术领域

本发明涉及计算机视觉的行为识别技术领域，尤其涉及一种基于第一视角RGB-D数据的手部动作识别方法。

背景技术

传统的第三视角视频往往对远距离目标成像的分辨率不高，易受遮挡、光照等因素干扰，难以支持后续的识别、跟踪等视觉任务。基于第一视角能够获取高分辨RGBD视频图像，可以自主移动以寻求遮挡少的最优视角，并保持视线集中在手部周围，这些特性从数据上为实现高精度的动作识别奠定了基础。现在的手部动作识别方法更倾向于将手的运动特征和操作的对象统一进行识别。Minghuang Ma等人通过深度卷积神经网络(CNN)的使用，提出了一个基于第一视角的双流网络框架，其中一个子网络分析手部和操作对象的外观信息，另一个子网络分析操作人头部和手部的运动信息，可以同时获取对象属性和手部运动特征。Suriya Singh等人提出了一个基于第一视角动作识别的三流网络框架，第一个网络是提取操作者手部和头部的运动信息，第二个网络和第三个网络分别是提取图像中的空间信息和时间信息。Guillermo Garcia-Hernando等人研究了基于第一视角的手部动作识别，在实验中收集了超过100000帧RGB-D视频序列，其中包括45个日常动作类别，涉及26个不同的物体。RGB-D动作识别和3D姿态估计都是相对较新的领域，这是首次尝试将它们与完整的人体相关联。现有的动作识别方法大多是基于第三视角的，第一视角的识别方法相对较少。并且现有的基于第一视角的方法都是处理RGB数据或者骨架数据，但是真实场景中高精度的骨架数据获取比较困难，精度不够高的骨架数据会严重影响后续的识别结果。当前方法中将RGB数据和深度数据结合的方法很少，其他方法的识别准确率和鲁棒性都有待提高。

发明内容

本发明解决了真实场景中高精度的骨架数据获取困难严重影响后续的识别结果的问题，提出一种基于第一视角RGB-D数据的手部动作识别方法，针对RGB-D数据可以充分结合RGB视频和深度视频的信息，基于第一视角克服了传统第三视角视频中分辨率低和遮挡的问题，此方法具有更好的鲁棒性和更高的识别准确率。

为实现上述目的，提出以下技术方案：

一种基于第一视角RGB-D数据的手部动作识别方法，包含以下步骤：

步骤1，佩戴RGB-D传感器采集多个的视频片段，包括RGB视频片段和深度视频片段，将RGB视频片段和深度视频片段进行图像转换，得到单帧的RGB图像序列和单帧的深度图像序列，并将RGB图像序列和深度图像序列进行配准；

步骤2，将RGB-D传感器采集到数据进行预处理，并进行数据增强，制作对应的标签，形成数据集；

步骤3，将不同动作进行尺寸统一处理后，针对RGB图像序列提取空间信息；采用基于注意力机制的方法对图像序列进行特征提取，并通过LSTM网络提取RGB图像的时序信息；

步骤4，计算RGB图像序列中两个相邻帧之间的光流，得到对应的光流图像序列，基于Resnet网络提取光流图像的时序信息；

步骤5，采用注意力机制的方法提取深度图像序列的图像序列结构信息；