[发明专利]一种基于深度图像数据流的虚实遮挡处理方法

摘要

本发明涉及一种基于深度图像数据流的虚实遮挡处理方法，包括场景点云模型的构建、三维空间注册和虚实遮挡处理并渲染三个部分。首先将深度相机采集的深度数据进行滤波等预处理操作，并计算每一点的法向量；然后根据带有法向量的点云和利用上一帧相机位姿从三维场景模型投影得到的点云，采用最近点迭代算法计算相机位姿；然后将当前帧的点云融合到三维场景的点云模型中；在重建场景的同时，实时计算深度相机采集的彩色图像特征点，通过与模板图像特征点匹配来进行三维空间注册；然后通过得到的相机姿态去处理虚拟物体和三维场景的空间位置关系和遮挡关系并实时渲染。本发明能够在现有的主流设备上实时运行，并能够在输入数据分辨率较低时也能得到良好的虚实遮挡效果。

主权项

一种基于深度图像数据流的虚实遮挡处理方法，其特征在于，包括以下步骤：步骤(1)、对原始深度图像数据作平滑等预处理操作；对原始相机数据流中的彩色图像进行ORB特征关键点检测，用于后续匹配模板图像的特征关键点；步骤(2)、根据相机内部参数，将预处理后的深度数据中的每一个像素点的坐标和深度转化为相机坐标系下的三维坐标；然后利用相邻像素的三维坐标值计算每一个像素对应的三维点云的法向量；由所述三维坐标和法向量构成三维点云映射图；步骤(3)、根据上一帧的相机位姿，采用光线投影算法，计算三维模型的投影点云映射图Map1，采用最邻近点迭代算法(ICP)，利用Map1与步骤(2)计算得到的三维点云映射图Map2计算出相机的当前位姿；然后将当前帧的点云融合到三维模型中；根据模型投影得到当前相机视角下的点云，并且计算其法向量，用于对下一帧点云图像配准；步骤(4)、若尚未完成三维空间注册，则将步骤(1)所得的彩色图像ORB特征点与模板图像ORB特征点进行FLANN特征匹配，得到模板图像在原始彩色图像所对应的区域，通过彩色图像与步骤(2)三维点云映射图的对应关系，计算模板图像在相机坐标系的三维空间坐标，再根据步骤(3)相机位姿，将该坐标变换到三维场景坐标系，完成三维空间注册；步骤(5)、根据步骤(3)得到的相机姿态和步骤(4)得到虚拟物体空间注册位置，实时处理虚拟物体和三维场景的空间位置和遮挡关系，对虚拟物体的渲染图像结果与彩色图像融合，实现一种较为真实的、具有良好遮挡关系的虚实融合效果。