[发明专利]基于产生式和判别式结合的人体运动跟踪方法

说明书

技术领域

本发明属于图像处理技术领域，更进一步涉及计算机视觉领域中实现人体运动跟踪的一种方法，采用一种多目标优化的方法实现人体运动跟踪和三维姿态估计，可用于体育训练和动画制作等领域。

背景技术

人体运动跟踪的主要任务是从视频图像中检测出人体轮廓，再对人体的关节点进行定位，在此基础上识别出人体运动姿态，最终重建三维人体运动姿态。由于目前视频图像是三维场景中的人体轮廓在二维图像上的投影，所以，丢失了大量的深度信息，并且人体运动过程中，人体四肢自遮挡现象时常发生，视频图像存在歧义性，这使得很难从无标记单目视频中恢复人体运动姿态。但是，由于基于单目视频的人体运动跟踪在医学治疗、体育训练、动画制作、智能监控系统等各个方面都有潜在的应用和经济价值，所以受到了很多学者的关注。至今，基于视频的人体运动跟踪的方法主要分为两大类：基于学习的人体运动跟踪和基于模型的人体运动跟踪。

第一种，基于学习的人体运动跟踪方法：该方法首先在训练的视频图像和目标视频图像数据库里提取精确的图像特征，然后学习训练视频图像数据库的图像特征与运动捕捉数据之间的映射，最后在目标视频图像上直接使用人体特征恢复三维姿态。如Urtasun et al.(R.Urtasun and T.Darrell.Local Probabilistic Regression for Activity-Independent Human Pose Inference IEEE Conference on Computer Vision and Pattern Recognition(CVPR)，2008)文章，就是使用平衡高斯过程动态模型指导在单目视频序列中跟踪三维人体运动，该动态模型是从较少的包含多种模式的运动训练数据中学习得到。Sigal et al.(L.Sigal and M.Black.Measure Locally，Reason Globally：Occlusion-sensitive articulated pose estimation.IEEE Conference on Computer Vision and Pattern Recognition(CVPR)，2006.)在该文章中提出一个贝叶斯框架，该框架包含序列重要性采样和退火粒子滤波，并且在跟踪时使用了多种运动模型。为了使三维姿态恢复更加符合解剖学关节约束，同时使搜索空间降维，该框架从训练数据中学习运动模型，使用虚拟标记的欧式距离差作为量测误差。该方法的缺点是提取精确的图像特征需要花费大量的时间，而且视频跟踪受到是否存在学习数据库的限制，若不存在学习数据库，则无法完成视频跟踪。

第二种，基于模型的人体运动跟踪方法：该方法不需要学习数据库，直接在目标视频图像上提取图像信息，建立目标图像与模型的相似度函数，然后对相似度函数进行优化从而在高维的状态空间中搜索最优的状态，从而获得准确的人体姿态。如法国国家信息与自动化研究所(INRIA)的C.Sminchisescu和A.Jepson.在(C.Sminchisescu and A.Jepson.Generative Modeling for Continuous Non-Linearly Embedded Visual Inference.International Conference on Machine Learning(ICML)，2004)的文章中采用此种方法实现了使用多种人体模型的运动跟踪。Deutscher et al.在(J.Deutscher and I.Reid.Articulated body motion capture by stochastic search.International Journal of ComputerVision(IJCV)，61(2)：185-205，2004.)的文章中使用边界和侧影作为图像特征构建加权的相似度函数，应用退火粒子滤波实现了人体运动跟踪。由于该方法只建立一个相似度函数，而用于优化相似度函数的方法在搜索最优结果时很容易陷入局部最优，导致跟踪到的人体姿态不准确，而且算法的时间复杂度高。

湖南大学申请的专利申请号200910043537.5，公开号CN101561928的“基于属性关系图外观模型的多人体跟踪方法”，该专利首先对当前帧人体检测区域建立属性关系图外观模型，计算与上一帧跟踪人体的属性关系图外观模型的相似度，根据相似度确定帧间人体的匹配关系，从而确定人体跟踪情况及获取运动轨迹。该专利申请公开的方法存在的不足是：只能对固定场景的运动者进行人体跟踪，只通过外观模型的相似度不足以准确的跟踪人体姿态。

发明内容