[发明专利]一种人体动作识别和预测方法及装置

说明书

本发明公开了一种人体动作识别和预测方法，通过两个数据源并行地获取数据，一是来自于相机拍摄的目标人体运动视频或图像，二是佩戴在目标人体的能提取人体表面肌电信号的智能设备采集的人体表面肌电信号，同时并行地对两种数据进行人体动作的实时识别，接着将根据人体的运动视频或图像实施人体动作识别的中间数据，以及根据人体的表面肌电信号数据实施人体动作识别的中间数据，通过人体动作识别和预测模型实现融合，从而得到对人体动作的识别和预测。

技术领域

本发明涉及基于移动平台的智能看护领域，具体涉及一种人体动作识别和预测方法及装置。

背景技术

人体动作识别是模式识别领域的研究热点。近年来，随着人机交互技术、传感器技术、机器学习等关键技术的飞速发展，人体动作识别被广泛应用于智能控制、医疗康复、健康监护等领域。使用包括摄像机在内的多种传感器来使得计算机能“看”到目标的动作过程从而识别目标过程的动作识别依赖的是计算机“看”到的目标的连续运动序列，这已经是比较成熟的技术。

但是，当把这类动作识别迁移到移动平台上时，由于移动平台可能不会连续地盯着目标或专注与某个特定目标，这导致当计算机从目标A转移到目标B上的时候，由于缺失了目标B的运动过程数据，从而难以识别目标B当前动作；另一方面，对应看护机器人来说，比如：目标从把手放在椅子扶手的久坐状态，转变为想用手支持自己站起来的时候，由于手部或上肢没有运动过程或只有微小幅度的运动过程，这使得计算机难以作出关于目标的动作判断或动作预测。这些问题的解决对移动平台的看护机器人等有很大的意义。

为了使得基于移动平台的看护机器人能对目标的动作作出准确的预测和识别，需要引入其他的启发数据，比如表面肌电信号。当前表面肌电信号的研究和应用主要集中在假肢控制、功能性神经电刺激和生物反馈研究、运动医学、康复医学和临床诊断等方面。在计算机人机交互领域，也又不少研究学者应用表面肌电信号于手势识别，通过对手臂肌电信号的分析识别手部的活动，并且取得了良好的效果。这些设备大多只能控制特定的设别，如遥控飞机或者假肢。实际应用中，肌电信号是不稳定的，前述使用肌电来实现控制的设备不仅需要用户将肌电设备佩戴在手臂等特定位置，还需要经常性的大幅度的动作训练和识别。

发明内容

本发明的技术解决问题是：以相机为主要传感器的移动平台会因为缺失目标人体动作过程中的某些图像数据而无法识别目标人体当前时刻的动作，或只能识别出目标人体当前时刻的姿态而无法判断目标人体动作意图，或预测目标人体的动作意图。

本发明提供一种人体动作识别和预测方法，通过两个数据源并行地获取数据，一是来自于相机拍摄的目标人体运动视频或图像，二是佩戴在目标人体的能提取人体表面肌电信号的智能设备采集的人体表面肌电信号，同时并行地对两种数据进行人体动作的实时识别，接着将根据人体的运动视频或图像实施人体动作识别的结果，以及人体的根据表面肌电信号数据实施人体动作识别的结果，通过人体动作识别和预测模型实现融合，从而得到对人体动作的识别和预测。

为此，本发明的第一个目的在于提出一种人体动作识别和预测方法，具体步骤包括：

步骤1、基于相机的视频或图像获取，获取相机拍摄的目标人体的运动视频数据；

步骤2、面向视频数据的人体动作实时识别，识别目标人体直到当前时刻的动作或姿态变化过程；

步骤3、基于表面肌电信号采集装置的目标人体表面肌电信号获取，获取目标人体表面肌电信号；

步骤4、面向表面肌电信号的信号模式实时识别，识别目标人体表面肌电信号中的特定模式；

步骤5、人体动作识别和预测模型，融合视频数据中的人体动作或姿态变化过程和表面肌电信号中特定的变化模式，识别目标人体的动作和预测目标人体的动作意图。