[发明专利]三维标记点序列的跟踪方法及其系统

说明书

技术领域

本发明涉及计算机视觉和模式识别领域，尤其涉及三维标记点序列的跟踪方法及其系统。

背景技术

二十世纪八十年代以来，光学运动捕获技术日渐成熟，在光学运动捕获中，需要在捕获对象上粘贴反光标记点，并用多个同步的已标定摄像机来采集这些标记点图像，然后从图像中提取出二维标记点并进行跟踪与重构，得到三维标记点坐标，然后从中计算出捕获对象的运动参数。

由于人体运动比较复杂，标记点经常被肢体遮挡，在跟踪过程中不可避免会导致标记点跟踪失败，因此需要一种鲁棒的方法提高跟踪的效果。

此外，跟踪方法不能完全保证所有标记点都被正确识别，因此在实际的捕获系统中需要处理标记点丢失的问题。目前的运动捕获系统中，为了解决标记点丢失的问题，常常需要非常繁琐的人工修补数据过程，如在主流商用系统Vicon iQ中的Fill tools，而且人工修补数据往往需要在人体运动数据方面丰富经验的人员完成，一般的人员难以进行。另外人工修补数据经常会出现修补错误的情况，这给后续帧的准确运动跟踪带来很大困难。因此，需要解决在运动跟踪中自动修补丢失标记点的问题。

发明内容

为了解决上述的技术问题，本发明提供了三维标记点序列的跟踪方法及其系统，利用给定的人体链状结构模型，从捕获到的标记点序列中，正确跟踪人体链状结构模型的刚体中的各个特征点。

本发明公开了一种三维标记点序列的跟踪方法，包括：

步骤1，读取观测对象的人体链状结构模型，确定所述人体链状结构模型中的刚体以及每个刚体上的特征点；

步骤2，通过运动捕捉获得观测对象的运动图像的帧，每一帧具有多个图像，每一个图像对应于一个运动捕捉中的采集摄影机，所述图像中具有所述帧的二维标记点，第一帧具有已识别三维标记点；

步骤3，将前一帧的已识别三维标记点在当前帧的图像中投影，所述已识别三维标记点同特征点对应，依据所述投影在当前帧中搜素出特征点对应的二维标记点，由所述二维标记点重构出特征点在当前帧中的候选三维标记点，所述候选三维标记点组成所述刚体的候选标记点集合；

步骤4，对于每个刚体，从所述刚体的候选标记点集合中枚举出标记点组合，计算标记点组合对应的标注似然函数值，保留最大的标注似然函数值对应的标记点组合，识别所述标记点组合中的候选三维标记点为所述刚体中特征点在当前帧中的三维标记点。

所述步骤3进一步为，

步骤21，将前一帧的已识别三维标记点在当前帧的图像中投影；

步骤22，在投影周围的预设范围内搜索当前帧的二维标记点，搜素出的二维标记点对应于所述已识别三维标记点对应的特征点；

步骤23，依据极几何约束对所述二维标记点进行匹配，重构出所述特征点在当前帧中对应的候选三维标记点，同一刚体的特征点的候选三维标记点组成所述刚体的候选标记点集合。

所述步骤4还包括：

步骤31，在枚举前，从所述候选标记点集合中除去不符合约束条件的候选三维标记点；

所述约束条件为同一刚体中的特征点对应三维标记点间距离满足第一预设范围，同一特征点对应三维标记点在相邻帧中的位移满足第二预设范围。

所述方法还包括：

步骤5，如果在当前帧中存在丢失的三维标记点，则根据当前帧中已识别出的三维标记点建立候选补充三维标记点集合；所述丢失的三维标记点同刚体上在当前帧中未被识别出的特征点对应；

步骤6，依据所述标注似然函数从所述候选补充三维标记点集合中选择同刚体中未被识别的特征点对应的三维标记点。

所述步骤6进一步包括：

步骤51，从在当前帧中具有未被识别出特征点的刚体中，选择具有最多在当前帧中已被识别出特征点的刚体；

步骤52，对于选出的所述刚体，通过所述标注似然函数从所述候选补充三维标记点集合中选择所述刚体中未被识别的特征点对应的三维标记点；

步骤53，重复所述步骤51，直至所有拥有候选补充三维标记点的刚体的特征点都对应有已识别三维标记点。

对于一个当前帧丢失的三维标记点，所述丢失的三维标记点对应的特征点所在的刚体为对象刚体，如果所述对象刚体上至少有一个特征点在当前帧中具有已识别三维标记点，则所述步骤5进一步包括：

步骤61，在当前帧的所有图像中搜索尚未用于重构已识别的三维标记点的二维标记点；

步骤62，对于每个二维标记点，计算所述二维标记点的从所述二维标记点所在图像对应的摄像机光心出发的三维反投影光线；