[发明专利]基于骨骼数据双通道深度可分离卷积的行为识别方法

说明书

基于骨骼数据双通道深度可分离卷积的行为识别方法，属于人体姿态行为识别技术领域。它包括以下步骤:一、获取人体行为姿态关节骨骼点数据；二、对骨骼点数据处理提取行为空间特征；三、构建D2SE双通道深度可分离卷积层，在时间维度上提取行为时间特征；四、将图卷积上的空间信息和D2SE网络层上的时间信息叠加提取姿态行为的时空信息；步骤五、使用ReLu函数获取骨骼动作分类。本发明使用图卷积神经网络GCN和D2SE网络层，对人体姿态行为骨骼数据使用空间上的图卷积来提取空间信息，本发明基于双通道，在提高基于深度分离卷积架构性能的同时不会引入额外的复杂度，同时能使卷积层的参数明显缩减。

技术领域

本发明属于人体姿态行为识别技术领域，具体涉及一种基于骨骼点数据双通道深度可分离卷积的姿态行为识别方法。

背景技术

人体动作识别是近年来CV领域热门研究的一个方向，骨骼点动作识别是人体动作识别中的一个分支，旨在识别由骨骼点数据随时间变化构成的骨骼序列，人体动作识别的另外一个分支是处理RGB视频序列。

基于RGB视频序列由于其时间序列性，一般使用GRU、3D卷积、LSTM变种等方式处理；但是由于RGB数据会放大光照、颜色以及遮盖物等因素的影响，进而导致模型鲁棒性不如骨骼数据拟合的模型。

基于骨骼数据的模型，由于其骨骼和关节相互连接，和图结构的数据非常契合，加上其对颜色和光照、遮挡物的强鲁棒性，因此近年来基于骨骼数据的模型大部分是基于图卷积网络。

然而针对特定场景中，Azure for Kinect设备开发应用程序所依赖运行设备的性能不足，以及对数据处理的时效性和准确率考虑，因此综合考虑设计一种基于骨骼点数据的姿态行为识别方法显得尤为重要。

发明内容

针对现有技术中存在的上述问题，本发明的目的在于提供一种基于骨骼点坐标的姿态行为识别方法，通过在图卷积网络中嵌入D2SE块来处理骨骼数据，相比于传统的图卷积识别方法，能够降低模型训练参数和训练时间的同时保证动作识别的准确率。

本发明提供如下技术方案：基于骨骼数据双通道深度可分离卷积的行为识别方法，其特征在于包括以下步骤:

步骤一、获取人体行为姿态关节骨骼点数据；

步骤二、使用类邻接矩阵策略对骨骼点数据处理提取行为空间特征；

步骤三、将Depth层和Point层嵌入卷积层中，构建D2SE双通道深度可分离卷积层，在时间维度上提取行为时间特征；

步骤四、将图卷积上的空间信息和D2SE网络层上的时间信息叠加提取姿态行为的时空信息；

步骤五、使用ReLu函数获取骨骼动作分类。

所述的基于骨骼数据双通道深度可分离卷积的行为识别方法，其特征在于所述步骤一中，通过Azure for Kinect获取人体关节骨骼点数据，对获取的骨骼点数据进行预处理，具体构建步骤如下：

2.1、从导出的文件中获取姿态骨骼数据序列，去除噪声数据；

2.2、将去噪后的数据构建图数据。

所述的基于骨骼数据双通道深度可分离卷积的行为识别方法，其特征在于所述步骤二中，将步骤一中预处理后的骨骼点数据使用类邻接矩阵策略转换成一张伪图像矩阵来提取行为空间特征。

所述的基于骨骼数据双通道深度可分离卷积的行为识别方法，其特征在于所述步骤三中，采用构建基于DSE网络的姿态行为识别方法提取时间特征，所述DSE网络包括双通道SE网络层及Conv层两个部分，所述双通道SE网络层对输入数据进行卷积操作，Conv层使用depthwise和pointwise卷积组合。