[发明专利]基于产生式和判别式结合的人体运动跟踪方法

摘要

本发明公开了一种基于产生式和判别式结合的人体运动跟踪方法，主要解决现有技术中人体运动跟踪结果不准确的问题。其实现步骤为：建立人体骨架模型；预处理视频图像获得检测关节点；提取视频图像的bandlet2特征；输入提取的bandlet2特征使用双高斯预测出人体姿态；根据检测到的关节点初始化人体骨架模型；构建双高斯预测到的关节点与检测到关节点的2D和3D相似度函数；在骨骼长度约束下最小化相似度函数得到一组人体姿态；从得到的一组人体姿态中选择出与上一帧骨架欧式距离最小的状态作为当前帧的佳运动姿态。本方法与现有的人体跟踪方法相比，具有跟踪结果准确性高，稳定性高的优点，可用于医学治疗、体育训练、动画制作和智能监控系统。

主权项

1.一种产生式和判别式结合的人体运动跟踪方法，包括如下步骤：(1)用骨骼抽象的方法建立三维人体骨架模型：即将人体骨架按照15个关节划分为14个部分，每部分由一根杆状骨骼模型表达，在空间用14条具有三维坐标的关节点之间的直线段表示这14根杆状骨骼模型，连接相应的关节点坐标组成整个三维人体骨架模型，当输入一组运动人体对应的15个关节点的三维坐标值时，人体骨架模型将模拟出三维人体的运动姿态；(2)预处理人体视频图像2a)输入人体视频图像，通过背景差分获得人体侧影，提取人体轮廓，对人体轮廓进行中轴细化处理，形成人体骨架线；2b)在人体骨架线上沿骨架线搜索得到头、腹部、膝、脚节点坐标位置，使用粒子滤波预测检测出其余的人体关节点坐标位置；(3)提取视频图像的第二代条带波变换Bandlet2的图像特征r，作为双高斯过程的输入，使用双高斯TGP算法，预测出第i帧人体的3维坐标关节点v′_i，i∈[1，N]，获得视频序列的3D关节点输出为V′，r＝(r₁，r₂，r₃，...，r_N)^T，V′=(v1′,v2′,v3′,...,vN′)T,]]>其中，r_i为第i帧图像的Bandlet2图像特征，i∈[1，N]，(·)^T表示矩阵的转秩；(4)初始化人体骨架模型4a)对步骤2b)得到的初始时刻视频图像关节点位置进行手工标定，由标定数据设置初始时刻人体姿态对应的人体骨架记为v₀，其中v₀为2b)中检测到的第一帧视频图像的人体关节点位置；4b)将t-1时刻跟踪得到的人体骨架作为t时刻的初始化人体骨架，t＞0；(5)构建相似度函数5a)将人体的3D关节点用V表示，2D关节点用V^q表示，V^q为V在2D平面上的投影，V为待估计量：V＝(v₁，v₂，v₃，...，v_N)^T，Vq=(v1q,v2q,v3q,...,vNq),]]>其中，v_i为第i帧图像的3D关节点，i∈[1，N]，为第i帧的2D关节点，i∈[1，N]，N为视频帧数；5b)将用双高斯TGP方法预测出的第i帧人体3D关节点V′在2D平面上做投影，得到2D投影的关节点坐标V′_p：Vp′=(vp1′,vp2′,vp3′,...,vpN′)T,]]>其中，为第i帧关节点3D关节点在2D上的投影，i∈[1，N]；5c)分别建立3D下的距离相似度函数f₁(v_i，v′_i)和2D下的距离相似度函数(6)利用非支配邻域免疫算法，对t时刻两个距离相似度函数f₁(v_i，v′_i)、在骨骼长度约束下求解最小值，获得t时刻一组与真实人体运动姿态相似的人体骨架；(7)在t时刻对每一个由步骤(6)得到的人体骨架获得骨架，计算该骨架关节点与t-1时刻跟踪到的人体骨架关节点的欧式距离，选择出欧式距离最小的人体骨架作为t时刻跟踪到的最精确的人体骨架。