[发明专利]增强现实环境中快速多层次虚实遮挡处理方法

权利要求书

1.一种增强现实环境中快速多层次虚实遮挡处理方法，其特征在于包括以下步骤：

1)使用双路摄像机实时采集真实场景的动态立体视频图像；

2)每隔一段时间从双路视频流中取出一对关键帧，对其进行稠密深度图的计算，建立待参与遮挡的真实物体的三维模型，同时提取出稀疏特征点；

3)对视频流中的所有中间帧采取稀疏特征点跟踪的策略，结合稀疏特征点在图像中的位置，估算出当前相机的位置和姿态；

4)根据最近一次建立的模型，获得真实物体自身的三维信息；根据相机位姿将真实物体模型进行相应的移动和旋转，即可用于虚实遮挡处理；

5)在等待下次三维重建完成的过程中利用最近调整后的真实物体三维信息与已注册的三维虚拟物体进行深度关系比较，实现正确的多层次虚实遮挡处理；

其中，在程序实现上采用双线程结构，对中间帧的三维跟踪和对关键帧的三维重建分别在不同的线程中并行处理。

2.如权利要求1所述的增强现实环境中快速多层次虚实遮挡处理方法，其特征在于：

所述步骤2)中对参与遮挡真实物体进行三维重建的具体步骤是：

2.1)对现场采集的两路动态视频流中的关键帧采用基于块匹配的归一化互相关算法进行双目立体匹配获得深度图；

2.2)设定深度图像中的物体划分依据，将视频图像场景划分为若干个物体；

2.3)根据深度图建立各个物体的三维模型。

3.如权利要求2所述的增强现实环境中快速多层次虚实遮挡处理方法，其特征在于：

所述步骤2.2)中深度图像中的物体划分依据是：

根据深度分层，即利用深度值将前景物体与背景物体分离，分别建模；

对于深度值接近的区域，参考三维跟踪线程的二维光流计算结果，对存在运动速度差异过大的区域，将其划分为不同的物体；

对于深度值接近、光流速度也接近的区域，按像素位置对二维图像进行分块，再分别建模。

4.如权利要求1所述的增强现实环境中快速多层次虚实遮挡处理方法，其特征在于：

所述步骤3)中进行稀疏特征点跟踪和相机位姿估计的具体步骤是：

3.1)提取出图像上的稀疏特征点，在三维重建线程建立的模型中提取稀疏特征点的三维信息；

3.2)从已经被分成若干物体的场景模型中为每个物体提取至少4个非共面稀疏特征点用于三维位姿估计；

3.3)在三维跟踪线程中对稀疏特征点的光流进行跟踪，解算稀疏特征点的新位置，用迭代法估算真实物体与相机坐标系的相对位姿。

5.如权利要求4所述的增强现实环境中快速多层次虚实遮挡处理方法，其特征在于：

所述步骤3.3)中估算物体位姿的方法是：对左右两路摄像机所获得的视频图像分别进行相对位姿计算，针对所得的两组计算结果，根据双路摄像机的外参数和基础矩阵，计算物体在世界坐标系中的位姿，将所得两组位姿的差加入到迭代终止准则中，以提高位姿估算的准确性。

6.如权利要求1所述的增强现实环境中快速多层次虚实遮挡处理方法，其特征在于：

所述步骤4)中根据相机位姿将真实物体模型进行相应的移动和旋转的方法是：当本次建模完成之后，在新模型投入使用之前，对照用以建模的原关键帧，重新估算物体在当前帧的位姿，根据所得的平移向量和旋转矩阵对新建模型中物体的位姿进行相应调整。