[发明专利]一种关节劳损自主康复动作识别方法及系统

说明书

本发明提出一种关节劳损自主康复动作识别方法及系统，其方法包括以下步骤：对采集的人体姿态图像和视频进行预处理，对人体骨骼、坐站姿、自主康复运动进行标注，得到训练数据集；构建人体姿态估计神经网络，利用训练数据集训练人体姿态估计网络，以识别出标注的人体骨骼点，对所识别的人体骨骼点进行关节连接，得到人体骨架序列特征；构建姿态分类神经网络，输入从坐站姿、自主康复运动视频提取的人体骨架序列特征，训练姿态分类神经网络，得到动作识别结果；调整人体姿态估计神经网络、姿态分类神经网络的网络深度及特征数量；实时采集患者康复训练动作视频，输入到已训练的人体姿态估计神经网络和姿态分类神经网络中，得到患者动作识别结果。

技术领域

本发明涉及计算机视觉技术领域，更具体地，涉及一种关节劳损自主康复动作识别方法及系统。

背景技术

现有的康复训练方法、设备及系统均采用多个传感器设备对患者进行动作识别，存在操作繁琐，康复运动训练单一的问题，且现有的康复设备大多是具有针对性的术后康复训练，没有适用于一般患者的自主康复产品。目前存在大量患者因学业、工作原因，需长期低头伏案，导致关节劳损，再加上本身康复意识不强，未能及时纠正不良姿势，也缺乏锻炼，在没有适用于一般患者的自主康复产品的前提下，这将导致康复过程缓慢、低效，甚至病情加重或复发，严重影响个人生活质量。

发明内容

本发明为克服上述现有技术所述的缺乏适用于一般患者的自主康复产品的一种缺陷，提供一种关节劳损自主康复动作识别方法，以及一种关节劳损自主康复动作识别系统。

为解决上述技术问题，本发明的技术方案如下：

一种关节劳损自主康复动作识别方法，包括以下步骤：

S1：采集人体姿态图像和视频，对所述人体姿态图像和视频进行预处理，并对人体骨骼、坐站姿、自主康复运动的类型分别进行标注，得到训练数据集；

S2：构建人体姿态估计神经网络，将所述训练数据集输入人体姿态估计神经网络中进行训练，以便人体姿态估计神经网络识别出所述训练数据集标注的人体骨骼点，然后根据人体结构，对所述识别的人体骨骼点进行对应关节的连接，得到人体骨架序列特征；

S3：构建姿态分类神经网络，从S2步骤得到的人体骨架序列特征中，提取坐站姿、自主康复运动的人体骨架序列特征，输入姿态分类神经网络中进行训练，姿态分类神经网络输出各个动作类型的概率值，取概率值最高的动作类型作为动作识别的结果；

S4：根据搭载本发明的关节劳损自主康复动作识别方法的硬件平台的计算能力，对完成训练的人体姿态估计神经网络、姿态分类神经网络的网络深度及特征数量进行调整，得到更加轻量级的人体姿态估计神经网络、姿态分类神经网络；

S5：实时采集患者进行自主康复训练时的动作视频，将动作视频输入完成训练的人体姿态估计神经网络中，得到患者的人体骨架序列特征，然后将人体骨架序列特征输入完成训练的姿态分类神经网络中，其输出的结果即为患者的动作识别结果。

本技术方案中，通过采集人体姿态图像和视频构建训练数据集，用于构建并训练人体姿态估计神经网络和姿态分类神经网络，其中，人体姿态估计神经网络用于识别人体姿态图像或视频所标注的人体骨骼点，然后将对应关节进行连接，得到人体骨架序列特征，姿态分类神经网络用于对输入的人体骨架序列特征进行进一步地特征提取、融合，并输出各个动作的概率值，其中概率值最高的动作即为动作识别结果。在使用过程中，采用摄像头实时采集患者的人体姿态视频，然后输入人体姿态估计网络中得到视频所对应的人体骨架序列特征，再输入姿态分类神经网络中进一步特征提取、融合，然后计算各个动作的概率值，输出概率值最高的动作类型，即为患者当前的动作识别结果。

优选地，人体姿态视频包括坐站姿视频和自主康复运动视频，其中，坐站姿视频包括但不仅限于正常站姿、正常坐姿、弯腰姿势、驼背姿势、趴伏姿势、倚靠姿势、跷二郎腿姿势；自主康复运动视频包括但不仅限于颈部伸展、腹肌伸展、肩部环绕。