[发明专利]一种关节劳损自主康复动作识别方法及系统

权利要求书

1.一种关节劳损自主康复动作识别方法，其特征在于，包括以下步骤：

S1：采集人体姿态图像和视频，对所述人体姿态图像和视频进行预处理，并对人体骨骼、坐站姿、自主康复运动的类型分别进行标注，得到训练数据集；

S2：构建人体姿态估计神经网络，将所述训练数据集输入所述人体姿态估计神经网络中进行训练，所述人体姿态估计神经网络识别出所述训练数据集标注的人体骨骼点，然后根据人体结构，对所述识别的人体骨骼点进行对应关节的连接，得到人体骨架序列特征；

S3：构建姿态分类神经网络，从所述S2步骤得到的人体骨架序列特征中，提取坐站姿、自主康复运动的人体骨架序列特征，输入所述姿态分类神经网络中进行训练，所述姿态分类神经网络输出各个动作类型的概率值，取概率值最高的动作类型作为动作识别的结果；

S4：对所述完成训练的人体姿态估计神经网络、姿态分类神经网络的网络深度及特征数量进行调整，得到轻量级的人体姿态估计神经网络、姿态分类神经网络；

S5：实时采集患者进行自主康复训练时的动作视频，将所述动作视频输入所述完成训练的人体姿态估计神经网络中，得到患者的人体骨架序列特征，然后将所述人体骨架序列特征输入所述完成训练的姿态分类神经网络中，其输出的结果即为患者的动作识别结果。

2.根据权利要求1所述的关节劳损自主康复动作识别方法，其特征在于：所述人体姿态视频包括坐站姿视频和自主康复运动视频，其中，所述坐站姿视频包括但不仅限于正常站姿、正常坐姿、弯腰姿势、驼背姿势、趴伏姿势、倚靠姿势、跷二郎腿姿势；所述自主康复运动视频包括但不仅限于颈部伸展、腹肌伸展、肩部环绕。

3.根据权利要求1所述的关节劳损自主康复动作识别方法，其特征在于：所述S2步骤中，所述人体姿态估计神经网络包括若干相同结构的沙漏型小网络，所述若干沙漏型小网络依次连接设置，其中，每一个所述沙漏型小网络采用对称的降采样、上采样结构。

4.根据权利要求3所述的关节劳损自主康复动作识别方法，其特征在于：所述姿态分类神经网络包括若干沙漏型小网络，以及一个全连接层，其中，所述若干沙漏型小网络依次连接，且末位的所述沙漏型小网络的输出端与所述全连接层的输入端连接。

5.根据权利要求4所述的关节劳损自主康复动作识别方法，其特征在于：所述沙漏型小网络中的降采样、上采样结构包括残差模块。

6.根据权利要求5所述的关节劳损自主康复动作识别方法，其特征在于：所述残差模块中包括特征数量调整单元、特征提取单元和特征融合单元，其中所述特征数量调整单元包括依次连接的1×1常规卷积层、归一化BN层、激活函数Relu层；所述特征提取单元包括依次连接的3×3深度可分离卷积层、归一化BN层、激活函数Relu层；所述特征融合单元包括1×1常规卷积层、归一化BN层、激活函数Relu层，其中，所述1×1常规卷积层的输出端与所述归一化BN层的输入端连接，所述归一化BN层的输出与输入所述残差模块的人体姿态特征进行加和后，输入所述激活函数Relu层中。

7.根据权利要求5所述的关节劳损自主康复动作识别方法，其特征在于：所述S4步骤中对所述完成训练的人体姿态估计神经网络、姿态分类神经网络的网络深度及特征数量进行调整的具体步骤包括：调整所述沙漏型小网络或特征数量调整单元的数量。

8.根据权利要求1所述的关节劳损自主康复动作识别方法，其特征在于：所述S2～S3步骤中，所述人体姿态估计神经网络、姿态分类神经网络分别采用知识蒸馏训练方法进行训练。

9.一种关节劳损自主康复动作识别系统，其特征在于，包括依次连接的视频采集模块、自主康复动作识别模块、人机交互模块，其中：

所述视频采集模块包括摄像头，用于采集患者的人体姿态视频；

所述自主康复动作识别模块包括设置有完成训练的人体姿态估计神经网络和姿态分类神经网络的硬件设备，用于对患者的动作进行识别分类；

所述人机交互模块包括显示屏、键盘、音频输出设备中的一种或多种；

所述视频采集模块实时采集患者的人体姿态视频，然后输入所述自主康复动作识别模块中，通过其预设的人体姿态估计神经网络得到患者的人体骨骼序列，再通过其预设的姿态分类神经网络识别患者的站坐姿、自主康复动作，然后输入所述人机交互模块中显示动作识别结果。