[发明专利]基于变结构多模型的人体运动跟踪方法

说明书

技术领域

本发明属于计算机视觉技术领域，涉及一种人体运动跟踪方法，可用于人体运动跟踪和姿态估计。

背景技术

人体运动跟踪是计算机视觉领域的一个重要的分支，由于其在医学治疗、运动捕捉、动画制作、智能监控系统等各个方面都有潜在的应用，所以受到了很多学者的关注。虽然在现实中能够获得大量的无标记单目视频序列，但是此类数据只是三维场景在图像或者图像序列上的2D投影，缺失了深度信息，再加上自遮挡、前景检测噪声等等，从这样的视频序列中恢复人体运动姿态困难重重。

从单目图像中估计和跟踪复杂链接物体的3D结构有两种重要的方法：基于模型的方法和基于学习的方法。Ankur Agarwal指出，基于模型的方法一般都要预先明确一个参数化的人体模型，然后根据运动学原理恢复人体姿态，或者设计一个模型到图像的似然度量，依据当前时刻预测状态在图像上的投影与图像特征的似然程度，使用最优化的方法得到最优的人体姿态，但是使用优化方法恢复人体运动姿态的时间复杂度非常高，它需要良好的初始化，并且需要解决最优搜索过程中的局部极小值问题，随着误差的不断积累，最优化方法无法保证正确的人体姿态估计。考虑到一组典型的人体姿态要比一组运动学上可能的姿态相似的多，通过训练一个模型，直接从观测图像测量中恢复姿态估计，基于学习的方法避免3D建模问题，它使用回归或者降维的方法学习运动捕捉数据和图像特征之间的映射关系或者流行，依据图像特征或者其他形式的输入恢复三维姿态，取得了不错的效果。

在前人的工作中，Deutscher et al.使用边界和侧影作为图像特征构建加权函数，应用退火粒子滤波框架实现人体运动跟踪。Mikic et al.从多个同步视频流中自动的获得人体模型，应用扩展卡尔曼滤波框架，依据已标记的voxel数据上的量测信息估计人体运动参数。Urtasun et al.使用平衡高斯过程动态模型指导在单目视频序列中跟踪3D人体运动，该动态模型是从较少的包含多种模式的训练运动数据中学习得到。XinyuXu et al.使用HumanEva数据库中较少的训练数据，采用偏最小二乘回归方法训练特殊人体运动的左侧和右侧身体运动的确定关系，最后使用Rao-Blackwellised粒子滤波RBPF跟踪框架执行人体运动跟踪。Sigal et al.提出一个贝叶斯框架，包含序贯重要性采样和退火粒子滤波，跟踪时使用了多种运动模型和似然函数；为了使三维恢复更加符合解剖关节限制和降低搜索空间，从训练数据中学习运动模型，使用虚拟标记的欧式距离差作为误差量测。Ni et al.提出了一种结合了交互式多模型和卡尔曼粒子滤波的随机跟踪框架，使用视觉外壳重构的3D人体作为输入，模拟的物理力/力矩降低了所需的粒子数量，结合包含多个运动学模型的交互式多模型算法获得良好的三维跟踪效果。Farmer et al.把交互式多模型卡尔曼滤波框架应用在了实时的低成本的监控系统中，不仅能够准确跟踪人体的运动，也能很好的跟踪人体的形状。

基于模型的跟踪方法使用优化的方法在搜索最优结果时，时间复杂度高，并且无法从根本上解决人体运动的二义性，遮挡发生的情况下，由于没有良好的指导，人体运动精确恢复无法得到保证；基于学习的方法，虽然使用了训练得到的运动模型，增加了跟踪的准确性和稳定性，但是单个的运动模型只能拟合一个运动模式，另外，为提高跟踪效果，良好描述子的应用也要花费大量的时间。前人已经尝试使用交互式多模型算法IMM完成人体运动跟踪，对特定的人体运动模式使用精心挑选的运动模型集获得较好的跟踪效果，但在实际的应用中，较小的运动模型集合无法解决人体运动模式的复杂性和多变性，例如，当前运动模式为已经跳转为行走时，而运动模型集合中只包含了跳跃的运动模型，无法保证跟踪效果。简单的增加运动模型的数量是不可行的，不仅会增加运算的时间复杂度，而且还会因为运动模型之间的不必要的竞争导致跟踪效果的降低。

发明内容

本发明的目的在于克服现有方法不足，提出了一种基于变结构多模型VSMM的人体运动跟踪方法，以减小人体运动姿态恢复的歧义性，提高人体运动跟踪的精确性，同时降低单帧跟踪的时间。

实现本发明目的的技术方案是：在检测人体关节点位置的基础上，通过使用运动捕捉数据训练的运动模型，结合VSMM算法框架来解决人体运动跟踪问题。

一.本发明基于VSMM的人体跟踪方法，包括：

预处理步骤：输入人体视频图像，通过背景差获得人体侧影，提取人体侧影外轮廓，并对人体侧影进行细化处理；

关节点检测步骤：对预处理后的人体视频图像，进行如下关节点检测：