[发明专利]多模型人体运动跟踪方法

说明书

技术领域

本发明属于图像处理技术领域，涉及人体运动跟踪，特别是一种多模型的人体运动跟踪和三维姿态估计，可用于体育训练和动画制作等领域。

背景技术

人体运动跟踪的主要任务是从图像检测出人体，定位人体部分，然后识别出人体运动姿态，最终重建三维人体运动。由于获得的视频或者图像序列都是三维场景在二维图像上的投影，缺失了大量的深度信息，并且人体运动过程中，人体四肢自遮挡现象时常发生，视频图像的质量也无法保证，这使得从无标记单目视频中恢复人体运动姿态的工作困难重重。但是，由于基于单目视频的人体运动跟踪在医学治疗、运动捕捉、动画制作、智能监控系统等各个方面都有潜在的应用和经济价值，所以受到了很多学者的关注。

基于视频的人体运动分析的方法主要分为两大类：基于模型的人体运动跟踪和基于学习的人体运动跟踪。

(1)基于模型的人体运动跟踪

现有的基于模型的人体运动跟踪大部分都是使用确定性或者随机性的优化方法，在高维的状态空间中搜索最优的状态。该方法的主要研究有：

法国国家信息与自动化研究所(INRIA)的C.Sminchisescu采用基于模型的方法在单目相机人体运动估计方面做了大量工作，从人体模型到搜索策略的一系列研究，大部分属于产生式方法。

美国布朗大学M.J.Black教授领导的视觉组主要致力于人体运动估计和人体手势、行为和面部表情的重构，目的是将人体运动的估计和理解应用于多媒体研究和新颖的用户界面中。在人体运动估计方面，该研究组用贝叶斯框架获得人体统计信息，对3D人体运动进行随机跟踪。目前该研究组为评价链接人体运动方法创建了一个同步视频和运动捕捉数据集：HumanEva数据集。HumanEva是多摄像机获得的数据资料，不仅包含多种运动的视频序列，而且还包含相应的地面实况Ground Truth，为人体运动跟踪方法的定量比较提供了依据。

Deutscher et al.使用边界和侧影作为图像特征构建加权函数，应用退火粒子滤波框架实现人体运动跟踪。Mikic et al.从多个同步视频流中自动的获得人体模型，应用扩展卡尔曼滤波框架，依据已标记的voxel数据上的量测信息估计人体运动参数。

(2)基于学习的人体运动跟踪

该方法首先提取精确的图像特征，然后学习图像特征与运动捕捉数据之间的映射，最后直接使用人体特征恢复三维姿态。在该方面的深入研究有：

法国国家信息与自动化研究所(INRIA)的主要项目LEAR(Learning for Vision)中很重要的部分就是对人的运动进行检测和运动分析，A.Agarwal在研究中做出了巨大的贡献，他采用shape context等鲁棒性好的描述子描述人体侧影，然后学习运动捕捉数据与人体侧影之间的关系，最后根据人体侧影特征重建三维人体运动。

加拿大多伦多大学计算机系C.Sminchisescu研究组：2004年以来，C.Sminchisescu的人体运动分析研究方法逐渐从产生式向判别式转变，通过分层编码和半监督学习适应多层级的变化，处理复杂背景下3D姿态类的可变性，采用稀疏的方法恢复3D人体姿态。

Urtasun et al.使用平衡高斯过程动态模型指导在单目视频序列中跟踪3D人体运动，该动态模型是从较少的包含多种模式的训练运动数据中学习得到。Sigal et al.提出一个贝叶斯框架，包含序贯重要性采样和退火粒子滤波，跟踪时使用了多种运动模型和似然函数；为了使三维恢复更加符合解剖关节限制和降低搜索空间，从训练数据中学习运动模型，使用虚拟标记的欧式距离差作为误差量测。

基于模型的人体运动跟踪和基于学习的人体运动跟踪各有优劣：

基于模型的方法：优点是该方法有具体的人体模型模拟人体，并且可以使用先验知识指导运动姿态的预测；缺点是使用优化的方法在搜索最优结果时，很容易陷入局部最优值，时间复杂度高，并且无法从根本上解决人体运动的二义性，遮挡发生的情况下，人体运动精确恢复无法得到保证；

基于学习的方法：优点是使用训练得到的运动映射，增加了跟踪的准确性和稳定性；缺点是单个的运动模型只能拟合一个运动模式，不能适应人体运动的多变性，提取精确的图像特征也要花费大量的时间。

发明内容

本发明的目的在于克服现有方法不足，提出了一种基于可能模型集-变结构多模型LMS-VSMM的人体运动跟踪方法，以减小人体运动姿态恢复的歧义性，提高人体运动跟踪的精确度，同时降低单帧跟踪的时间，提高费效比。