[发明专利]一种基于图像识别的人体动作预警方法及系统

权利要求书

1.一种基于图像识别的人体动作预警方法，其特征在于，所述方法包括：

获取目标人物的多角度时序图像序列并进行预处理；

根据预处理后的多角度时序图像序列对人体动作进行三维重建，提取人体三维骨架特征序列；

基于人体三维骨架特征序列进行目标人物动作识别；

构建编码-解码结构的混合深度神经网络模型并进行预训练；

基于人体三维骨架特征序列和编码-解码结构的混合深度神经网络模型进行目标人物动作预测，得到下一时刻的人体三维骨架特征；

将下一时刻人体三维骨架特征与标准运动的人体三维骨架特征进行比对，进行动作预警。

2.根据权利要求1所述基于图像识别的人体动作预警方法，其特征在于，所述预处理包括：统一多角度时序图像序列的尺寸，并转换成灰度图。

3.根据权利要求1所述基于图像识别的人体动作预警方法，其特征在于，根据多角度时序图像序列对人体动作进行三维重建，提取人体三维骨架特征序列具体包括：

分别提取预处理后的多角度时序图像序列中各个时刻对应的多角度图像数据；

分别根据对应的多角度图像数据进行三维重建，得到各个时刻对应的人体三维模型；

从人体三维模型中提取出各个关键点，将各个关键点按照顺序连接，得到人体三维骨架特征向量；

将不同时刻的人体三维骨架特征向量按照时间顺序组成人体三维骨架特征序列。

4.根据权利要求3所述基于图像识别的人体动作预警方法，其特征在于，所述基于人体三维骨架特征序列进行目标人物动作识别具体包括：

获取不同运动参考目标的各类健身运动的多角度视频数据；

按照同样的时间节点分别从同一参考目标的所述多角度视频数据中提取多角度时序图像序列样本，并进行预处理；

通过相似度分析剔除多角度时序图像序列样本中的无效样本；

根据多角度时序图像序列样本对同一参考目标的动作进行三维重建，提取同一参考目标的人体三维骨架特征序列；

分别对同一参考目标的人体三维骨架特征序列中的相邻元素做差分运算，将差分运算结果作为当前参考目标的运动参数；

分别获取不同参考目标的运动参数，组成第一训练集，通过第一训练集训练CNN模型，通过CNN提取参考目标的运动特征向量，组成第二训练集，通过第二训练集训练SVM分类器，实现目标人物动作识别。

5.根据权利要求4所述基于图像识别的人体动作预警方法，其特征在于，所述编码-解码结构的混合深度神经网络模型包括：依次连接的输入层编码模块、第一全连接层、解码模块、第二全连接层和输出层；

所述编码模块包括依次连接的第一长短期记忆神经网络、多层卷积神经网络和第二长短期记忆神经网络；

所述编码模块包括依次连接的第三长短期记忆神经网络、多层反卷积神经网络和第四长短期记忆神经网络。

6.根据权利要求5所述基于图像识别的人体动作预警方法，其特征在于，所述编码-解码结构的混合深度神经网络模型的预训练包括：

收集各类运动的多角度标准时序动作图像，并提取标准人体三维骨架特征序列，通过差分运算得到标准运动参数，通过标准运动参数制作标准训练集；

将所述标准训练集与第一训练集合并，通过反向传播训练所述编码-解码结构的混合深度神经网络模型的参数，直到模型收敛。

7.根据权利要求1所述基于图像识别的人体动作预警方法，其特征在于，将下一时刻人体三维骨架特征与标准运动的人体三维骨架特征进行比对，进行动作预警具体包括：

分别比较下一时刻人体三维骨架特征与标准运动的人体三维骨架特征中的各关节特征向量，计算各关节特征向量的差值；

若目标人物的某关节特征向量的差值超出设定值，播放预设好的警告提示语音。