[发明专利]基于线性规划的变形体三维跟踪方法

说明书

技术领域

本发明涉及的是一种计算机图像处理技术领域的方法，具体是一种基于线性规划的变 形体三维跟踪方法。

背景技术

从单目图像序列中重建出目标的三维空间结构并对其进行跟踪是计算机视觉的重要研 究领域，在视频监控、医学图像处理、人机交互等方面有着广泛应用。当跟踪目标为刚性 物体时已经有一些比较成熟的方法，但是很多情况下，目标会随时间改变形状，对变形体 进行跟踪是目标跟踪技术的主要挑战之一，现有技术尚不能对变形体进行准确有效跟踪。

经对现有技术的文献检索发现，Leonid V.Tsap等于2000年在《IEEE Transactions on Pattern Analysis and Machine Intelligence》(电气电子工程师学会模式分析和机 器智能学报)上发表的论文“Nonrigid motion analysis based on dynamic refinement of finite element models”(基于有限元模型动态改进的非刚性运动分析)提出在给定 物体初始模型条件下，能够通过有限元模型重建出运动向量。该方法通过计算物体上预测 点和真实点之间的误差来优化模型，能够完成对变形物体的跟踪，但是存在两个缺点：一 、需要知道物体材料参数，一般难以获得；二、对于大的变形，需要复杂的目标函数。R. Hartley等于2008年在《10th European Conference on Computer Vision》(第十届欧洲 计算机视觉会议)上发表的论文“Perspective nonrigid shape and motion recovery” (透视非刚性形状和运动恢复)将非刚体的形状和运动问题看作三维到二维的多重投影。 该方法可以得到一个闭式解，但是它需要图像序列中的点对应非常可靠，所以只对相对小 的变形有效。

发明内容

本发明针对现有技术存在的上述不足，提供一种基于线性规划的变形体三维跟踪方法 ，能够在每一帧图像中获得变形后的检测对象的三维空间结构，从而达到在动态画面中对 形状变化的检测对象进行三维跟踪的目的，特别适合视频监控、医学图像处理，同时也可 以应用于人机交互、非刚体物体识别理解等领域。

本发明是通过以下技术方案实现的，本发明包括以下步骤：

第一步、标定摄像机：将一块黑白棋盘格平板置于摄像机前不同方位，并由摄像机采 集若干幅网格图像，对采集得到的网格图像对摄像机进行标定，得到摄像机参数；

所述的不同方位是指：把一块黑白棋盘格平板置于摄像机前，使黑白棋盘格始终位于 摄像机视野范围内且成像清晰无遮挡；

所述的若干幅网格图像共12幅；

所述的标定是指：首先读入若干幅网格图像，提取网格顶点，根据已知的黑白棋盘格 平板上网格顶点的位置坐标以及提取到的图像上网格顶点的坐标，计算摄像机的内部参数 和外部参数；

所述的摄像机参数包括：内部参数：焦距、主点坐标、水平方向和垂直方向上图像坐 标单位距离的像素数；外部参数：世界和摄像机坐标系之间的旋转和平移。

第二步、获取基于三维三角片网格的变形体模型：采集一幅变形体初始图像，根据摄 像机参数和变形体初始图像中待测物表面纹理特征建立变形体模型；

所述的变形体初始图像是指：通过摄像机采集到的变形体未发生形变的图像；

所述的待测物表面纹理特征是指：图像特征如轮廓、角点和边缘等；

所述的建立变形体模型，具体步骤包括：

2.1)建立三维三角片网格：根据变形体形状大小和形变程度建立三角片网格，变形 体越大、形变越复杂则三角片数目越多；

2.2)特征点提取：对变形体初始图像中待测物表面纹理进行特征点提取，并采用梯 度值和灰度直方图描述每个特征点所在小区域的灰度特征，得到特征点特征描述向量；

2.3)建立模型：将特征点三维坐标转换为三维三角片网格的三角顶点的线性组合表 示。对于每一个特征点，均得到一组线性组合参数及其特征描述向量，将这些线性组合参 数和特征描述向量合并在一起即构成了此变形体目标的网格模型。

第三步、变形图像采集：动态采集一帧当前时刻的变形图像，提取当前帧变形图像中 的变形图像特征点并进行匹配处理，获得变形体点对应约束；