[发明专利]一种基于双通道异构神经网络的多模态人体动作识别方案

说明书

本发明针对居家康复锻炼的人群无法达到标准化的问题提出一种基于双通道异构神经网络的多模态人体动作识别方案，利用惯性传感器和深度相机分别捕捉待处理的人体动作过程的惯性传感器数据和深度视频数据，再利用卷积神经网络、长短期记忆网络分别对深度运动历史图和时序信号进行深度特征提取，将两个模态的深度特征通过级联的方式融合在一起，获得的特征融合数据输入分类器，从而完成人体动作具体类别的识别。本发明减少了异常数据和冗余数据对分类结果的影响，提取深度视频关键帧数据生成新的深度视频数据，突出关键数据，减少分类模型的计算复杂度，可以有效区分人体动作的具体类型，让用户可以实现无监督、标准化的家庭锻炼。

技术领域

本发明属于智慧医疗的无监督康复锻炼领域，尤其涉及一种基于双通道异构神经网络的多模态人体动作识别方法。

背景技术

一些年长者、或致残率较高的心脑血管疾病患者在治愈之后，往往会伴随不同程度的上肢运动功能障碍，例如，30%~66%的缺血性脑卒中患者在6个月之后上肢运动功能仍不能康复，另一方面却有研究表明，脑卒中患者在发病后进行长期规范化的康复锻炼能够有效缓解患者运动功能障碍问题。运动功能恢复是一个长期而缓慢的过程，漫长的医院治疗给患者的家庭造成巨大的负担，但是居家环境下的康复锻炼缺乏规范化导致话费的金钱和时间事倍功半。如今，计算机技术可以进行远程监督锻炼，但通过计算机进行人体动作识别面临的技术问题主要是多模态的特征融合和动作类型的识别。

在多模态特征融合中，研究重点主要集中在设计新的特征提取和融合方案以实现不同模态的特征融合，来实现信息互补，如惯性传感器和深度视频模态的融合。目前普通的特征提取方案如HOG特征和Gabor特征都受到类内差异和类间相似问题的困扰，深度特征则会遇到与其他特征难以融合的问题。对于分类识别，选择许多经典分类器用于诊断，例如支持向量机（SVM），随机森林（RF），卷积神经网络（CNN），但是每个分类器都需要分别对应自己合适的分类对象。

不同模态和不同类别的人体动作信息的载体不同，动作的相似度较大，单一模态的特征提取-分类器识别模型难以取得较好的分类效果，且不适应无监督锻炼的家居环境。

发明内容

为了解决上述问题，本发明采用以下技术方案。

一种基于双通道异构神经网络的多模态人体动作识别方案，包括如下步骤：

101、利用惯性传感器和深度相机分别捕捉待处理的人体动作过程的惯性传感器数据和深度视频数据，对获取的所述惯性传感器数据和深度视频数据进行预处理；

102、利用运动历史图算法将获得深度视频处理得到深度运动历史图；

103、基于卷积神经网络和长短期记忆网络构建一个新的双通道异构神经网络；

104、利用卷积神经网络作为图像处理通道对处理得到深度运动历史图进行深度特征提取；

105、利用长短期记忆网络作为时序信号处理通道对经过预处理的时序信号进行深度特征提取，所述时序信号为惯性传感器获得的人体动作信号；

106、输出步骤104、105中获取的深度特征数据，将两个模态的深度特征通过级联的方式融合在一起；

107、将获得的特征融合数据输入分类器，从而完成人体动作具体类别的识别。

进一步的，步骤101所述预处理包括：

A1、将获取的惯性传感器数据进行数据清洗，剔除异常和冗余数据，并对数据进行归一化处理；

A2、利用关键帧提取算法对获取的深度视频保留人体运动过程中关键动作信息。

进一步的，步骤102包括：

B1、将深度视频制进行灰度化处理；

B2、将选择运动历史图算法，将处理之后的深度视频生成深度运动历史图，并对深度历史图进行伪彩色编码；

进一步的，步骤103中新的双通道异构神经网络构建包括：