[发明专利]一种平面检测方法及装置、平面跟踪方法及装置

说明书

本发明公开了一种平面检测方法及装置、平面跟踪方法及装置，该平面检测方法包括：对双目摄像头采集环境场景的当前帧图像进行划分，检测划分后得到的每个子图像块对应的特征点；根据特征点在世界坐标系下的三维坐标信息，获得当前帧图像的稀疏点数据集，稀疏点数据集包括多个特征点的三维坐标信息；基于稀疏点数据集对当前帧图像进行平面检测，获取当前帧图像的最优有效平面，最优有效平面为包含特征点最多的平面；该平面跟踪方法包括：根据当前帧图像的最优有效平面，获取当前帧图像的多个有效平面，有效平面的平面帧号与对应的图像的帧号一致；将当前帧图像的多个有效平面与上一帧图像的多个有效平面进行融合，确定连续多帧图像的跟踪平面。

技术领域

本发明涉及图像处理技术领域，更具体地，本发明涉及一种平面检测方法及装置、一种平面跟踪方法及装置。

背景技术

目前，基于移动设备的增强现实(augmented reality，AR)应用已经成为现实，而且备受各大移动设备厂商和广大用户的青睐。在将虚拟对象融合到真实环境时，需要基于平面确定虚拟对象的锚点，从而在确定出的锚点处渲染出虚拟对象。因此，在基于移动设备的增强现实应用的计算过程中，平面检测是一项重要的功能。

而现有技术中，基于slam系统对多幅图像进行处理，获得稠密点云，然后通过点云数据进行平面检测，获得全局平面。由于稠密点云是对多幅图像进行特征点提取得到的，稠密点云包含的特征点较多。这种方式计算复杂度高，对于硬件要求较高，成本高，制约了其使用范围。

但是，移动设备的计算能力有限，采用复杂度较高的算法进行平面检测，速度慢，用户体验较差。

发明内容

本发明的目的在于提供一种平面检测和跟踪的新技术方案。

根据本发明的第一方面，提供了一种平面检测方法，所述方法包括：

对双目摄像头采集环境场景的当前帧图像进行划分，检测划分后得到的每个子图像块对应的特征点；

根据所述特征点在世界坐标系下的三维坐标信息，获得所述当前帧图像的稀疏点数据集，所述稀疏点数据集包括多个所述特征点的三维坐标信息；

基于所述稀疏点数据集，对所述当前帧图像进行平面检测，获取所述当前帧图像的最优有效平面，所述最优有效平面为包含特征点最多的平面。

可选地，所述当前帧图像包括第一目图像和第二目图像，所述特征点包括第一特征点和第二特征点；

所述对双目摄像头采集环境场景的当前帧图像进行划分，检测划分后得到的每个子图像块对应的特征点，包括：

对所述第一目图像进行划分，获得多个第一子图像块；

检测出每个所述第一子图像块对应的第一特征点；

采用极线匹配方法在所述第二目图像中做特征点匹配，获取所述第二目图像中与所述第一特征点匹配的第二特征点；

利用所述第一特征点和所述第二特征点，计算所述第一特征点的三维坐标信息。

可选地，所述对所述第一目图像进行划分，获得多个第一子图像块之前，所述方法还包括：

以所述第一目图像的中心为原点，将欧式距离大于第一设定像素的点的像素状态设置为第二状态，将所述第一目图像中剩余的点的像素状态设置为第一状态。

可选地，所述检测出每个所述第一子图像块对应的第一特征点，包括：

对所述第一子图像块进行特征点检测，确定每个所述第一子图像块中目标点；

判断所述第一子图像块中所述目标点的像素状态，所述像素状态包括第一状态和第二状态；