[发明专利]基于线性规划的变形体三维跟踪方法

权利要求书

1.一种基于线性规划的变形体三维跟踪方法，其特征在于，包括以下步骤：

第一步、标定摄像机：将一块黑白棋盘格平板置于摄像机前，并由摄像机 采集若干幅网格图像，对采集得到的网格图像对摄像机进行标定，得到摄像机参 数，摄像机参数存储为摄像机投影矩阵；

第二步、获取基于三维三角片网格的变形体模型：采集一幅变形体初始图 像，根据摄像机参数和变形体初始图像中待测物表面纹理特征建立变形体模型；

第三步、变形图像采集：动态采集一帧当前时刻的变形图像，提取当前帧 变形图像中的变形图像特征点并进行匹配处理，获得变形体点对应约束；

第四步、获取三维三角片网格边方位不变约束：约束三维三角片网格的每 一条边的方位在连续两帧间保持其方位不变，将此约束描述为一个线性约束序列 作为网格约束；

第五步、将变形体点对应约束和网格约束合并为线性跟踪规划序列，将初 始跟踪值通过迭代法重建获得当前帧中变形体的三维结构，并回到第三步进行下 一帧跟踪；

所述的匹配处理是指：将变形图像特征点与存储的三角片网格模型参数采 用梯度值和灰度直方图与模型特征点进行匹配，对于匹配成功的特征点，使用摄 像机投影矩阵将模型上的三维特征点投影到当前帧图像上，由于图像噪声的影 响，投影点与二维图像特征点不完全重合，通过使用无穷大误差范数，将投影点 与二维图像特征点间的重投影误差表示为一组线性约束作为变形体线性约束；

所述的线性跟踪规划序列是指：将变形体点对应约束的约束方程和网格约 束的约束方程合并为线性跟踪规划序列；

所述的迭代法重建是指：以初始跟踪值为初值，迭代求解线性跟踪规划序 列，获得当前时刻变形体的三维空间结构，当迭代无解时则放弃当前约束中的特 征点，并重新计算下一个特征点直至有解，最后输出当前帧中变形体的三维结构；

所述的初始跟踪值是指：上一帧中所得变形体的三维空间结构。

2.根据权利要求1所述的基于线性规划的变形体三维跟踪方法，其特征是， 所述的标定是指：首先读入若干幅网格图像，提取网格顶点，根据已知的黑白棋 盘格平板上网格顶点的位置坐标以及提取到的图像上网格顶点的坐标，计算摄像 机参数。

3.根据权利要求1所述的基于线性规划的变形体三维跟踪方法，其特征是， 所述的变形体初始图像是指：通过摄像机采集到的变形体未发生形变的图像；所 述的变形图像特征点是指：当前帧变形图像中的具有仿射不变性的特征点。

4.根据权利要求1所述的基于线性规划的变形体三维跟踪方法，其特征是， 所述的建立变形体模型，具体步骤包括：

2.1)建立三维三角片网格：根据变形体形状大小和形变程度建立三角片网 格，变形体越大、形变越复杂则三角片数目越多；

2.2)特征点提取：对变形体初始图像中待测物表面纹理进行特征点提取， 并采用梯度值和灰度直方图描述每个特征点所在小区域的灰度特征，得到特征点 特征向量；

2.3)建立模型：将特征点三维坐标转换为三维三角片网格的三角顶点的线 性组合表示，对于每一个特征点，均得到一组线性组合参数及其特征描述向量， 将这些线性组合参数和特征描述向量合并在一起即构成了此变形体目标的网格 模型。