[发明专利]一种基于人体骨架运动信息的人体行为预测方法

说明书

本发明公开了一种基于人体骨架运动信息的人体行为预测方法，包括以下步骤：利用从RGB‑D图像中提取人体骨架信息，分肢体计算各关节点的归一化相对方位特征；利用基于特征序列势差的分割方法对特征序列进行动态分割，得到姿态特征子序列和动作特征子序列；从姿态特征子序列和动作特征子序列中提取关键姿态和原子动作，构建基于关键姿态和原子动作的多层图模型；提取多层图模型中蕴含的人体子行为模式，构建人体子行为模式的上下文概率统计模型；进行人体子行为模式的识别与预测；本发明对不同个体的形体差异、空间位置差异等具有强鲁棒性，对同类行为内不同个体的动作差异性具有强泛化能力，对不同类行为间的动作相似性具有强识别能力。

技术领域

本发明涉及一种智能人机交互、智能机器人技术领域，具体是一种基于人体骨架运动信息的人体行为预测方法。

背景技术

21世纪人类将进入老龄化社会，发展服务机器人能够弥补年轻劳动力的严重不足，解决老龄化社会的家庭服务、医疗服务等社会问题。国际机器人联合会给服务机器人一个初步的定义：服务机器人是一种半自主或全自主的机器人，它能完成有益于人类的服务，但不包括从事生产的设备；如果服务机器人可以与人进行智能友好的交互，并且能够根据人们在日常生活中的的行为从事一些家庭服务工作，那么家庭服务行业的服务机器人应用必将形成新的产业和新的市场；在服务机器人从事日常生活服务的过程中，人体行为识别与预测是人与服务机器人智能交互的基础，对提高机器人的自主性、智能性起着至关重要的作用；利用人体行为识别与预测技术对人们的日常行为进行识别与预测，可以为服务机器人的日常服务提供理论和现实依据，促进人与服务机器人的智能友好交互及和谐相处，提高人们生活的舒适感；已知的人体行为识别与预测算法存在若干问题：第一，绝大部分人体行为识别算法都是基于低层次特征，即直接基于逐帧姿态特征进行分类模型的训练和测试，计算量大；第二，计算关节点的相对位置或方位时，都是相对于躯干关节点或髋中心关节点，并没有考虑人体各关节的实际运动模型，导致每个关节点的运动模型比较复杂；第三，在提取关键姿态特征时直接对整个特征序列进行聚类，没有区分特征序列的静态成分和动态成分，导致关键姿态精度有限；第四，在对特征序列进行分割时采用手动分割、固定数目分割、固定间隔分割或基于图论的分割等方法，分割效果不能满足要求；第五，即使分肢体提取特征，也未分肢体进行行为模式建模，未考虑各个肢体的不同作用，部分算法没有考虑左撇子和右撇子同时存在的情况；第六，未考虑人们对人体行为的分层感知模型。

发明内容

本发明的目的在于提供一种以从RGB-D图像中提取到的人体骨架信息为基础，对当前时刻的人体行为进行识别以及对后续时刻的人体行为进行预测的基于人体骨架运动信息的人体行为预测方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种基于人体骨架运动信息的人体行为预测方法，以从RGB-D图像中提取到的人体骨架信息为基础，对当前时刻的人体行为进行识别及对后续时刻的人体行为进行预测，包括以下步骤：

(1)针对从每帧RGB-D图像提取到的人体骨架信息，利用中值滤波算法对人体骨架数据进行时域上的平滑预处理，降低噪声和异常数据的影响；

(2)针对预处理后的人体骨架信息，以人体各个关节点的实际运动模型为基础，分肢体计算人体各关节的归一化相对方位特征，生成归一化相对方位特征序列；

(3)定义并计算特征序列的势能和势差，基于特征序列的势差对特征序列进行动态分割，得到姿态特征子序列和动作特征子序列；

(4)利用高斯混合模型算法从姿态特征子序列中提取关键姿态，利用K均值算法从动作特征子序列中提取原子动作；

(5)基于提取到的关键姿态和原子动作分肢体构建多层图模型，构建的多层图模型包括每种人体行为所包含的不定长人体子行为模式；