[发明专利]一种基于双通道异构神经网络的多模态人体动作识别方案

权利要求书

1.一种基于双通道异构神经网络的多模态人体动作识别方案，其特征在于：包括如下步骤：

101、利用惯性传感器和深度相机分别捕捉待处理的人体动作过程的惯性传感器数据和深度视频数据，对获取的所述惯性传感器数据和深度视频数据进行预处理；

102、利用运动历史图算法将获得深度视频处理得到深度运动历史图；

103、基于卷积神经网络和长短期记忆网络构建一个新的双通道异构神经网络；

104、利用卷积神经网络作为图像处理通道对处理得到深度运动历史图进行深度特征提取；

105、利用长短期记忆网络作为时序信号处理通道对经过预处理的时序信号进行深度特征提取，所述时序信号为惯性传感器获得的人体动作信号；

106、输出步骤104、105中获取的深度特征数据，将两个模态的深度特征通过级联的方式融合在一起；

107、将获得的特征融合数据输入分类器，从而完成人体动作具体类别的识别。

2.根据权利要求1所述的动作分类方法，其特征在于，步骤101所述预处理包括：

A1、将获取的惯性传感器数据进行数据清洗，剔除异常和冗余数据，并对数据进行归一化处理；

A2、利用关键帧提取算法对获取的深度视频保留人体运动过程中关键动作信息。

3.根据权利要求1所述的动作分类方法，其特征在于，所述步骤102包括：

B1、将深度视频制进行灰度化处理；

B2、将选择运动历史图算法，将处理之后的深度视频生成深度运动历史图，并对深度历史图进行伪彩色编码。

4.根据权利要求1所述的动作分类方法，其特征在于，步骤103所述新的双通道异构神经网络构建包括：

C1、基于卷积神经网络构建图像特征提取网络，基于长短期记忆网络构建信号特征提取网络；

C2、将两个特征提取网络搭建在一起，构建最后的特征融合层和分类层。