[发明专利]一种确定下一最佳观测方位的方法及装置

说明书

本发明提供的一种确定下一最佳观测方位的方法及装置，本发明根据深度图像中的遮挡信息和轮廓信息，确定深度图像中的视觉目标的未知区域(正面未知区域和背面未知区域)，并对正面未知区域进行分割，对每一分割后得到的子区域建模，根据模型确定在预设的参考观测方位能观测到的三角形剖面，根据初始迭代方位，从参考观测方位的集合中选取下一最佳观测方位，使得在确定的下一最佳观测方位上能够最大量地获取到当前观测方位下视觉目标中未知区域内的信息。本发明无需预先获取视觉目标的先验知识，也无需将固定摄像机的球面，更具有通用性，在本发明确定的下一观测方位上获取到未知区域的信息更多。

技术领域

本发明涉及图像处理技术领域，尤其涉及一种确定下一最佳观测方位的方法及装置。

背景技术

下一最佳观测方位(Next Best View，NBV)的确定是指根据摄像机(传感器)在当前观测方位下获取到的目标物体的视觉信息确定出摄像机的下一观测方位，使得摄像机在所求方位下能够最大量地获取到当前观测方位下未采集到的信息。下一最佳观测方位的技术的发展，为体感摄像机在观测目标三维物体时，获取关于该三维物体的更多信息奠定了基础。该技术一直是数据采集、三维重建、机器人导航、自动装配、目标识别等领域重要且困难的研究课题之一。

目前，对目标三维物体中未知区域(遮挡区域和背面区域)的信息的获取主要基于两种图像信息类型：彩色图像信息和图像深度信息。其中，彩色图像中每个像素值均分成RGB三个基色分量，每一基色分量直接决定其基色的强度，通过对彩色图像的基色分量进行梯度、对比度和光流的分析，从而得到目标物体中未知区域的信息。图像深度信息则是由从摄像机到场景中各点的距离(深度)作为像素值生成的图像，反映的是场景中的物体可见表面的几何形状，因此，相比彩色图像，深度图像更利于获得场景的三维信息，因此，业界获取目标物体中未知区域的信息通常都基于深度图像获得。一般是由深度图像的体素信息以及整体观测策略确定的，然而当视觉目标遮挡住自身时，就无法获取到遮挡区域的图像信息。

综上所述，现在已有的方法均未考虑自身遮挡的问题，导致视觉目标的信息获取不完整，从而确定的下一最佳观测方位不够准确。

发明内容

本发明实施例提供了一种确定下一最佳观测方位的方法及装置，用以解决现有技术提供的方法无法获取视觉目标自身遮挡区域的图像信息的问题，实现在本发明实施例确定的下一观测方位上获取到视觉目标的未知区域的信息更多。

本发明实施例提供的一种确定下一最佳观测方位的方法，该方法包括：

在当前观测方位上获取包括视觉目标的深度图像；

从获取的视觉目标的深度图像中，提取所述视觉目标的可观测边界点及其对应的下邻接边界点、所述视觉目标的轮廓点，并确定所述可观测边界点的三维坐标以及所述下邻接边界点的三维坐标；确定所述视觉目标的可观测边界的三维坐标及其对应的下邻接边界的三维坐标围成的区域为正面未知区域；确定所述深度图像中所述视觉目标的轮廓点围成的区域为背面未知区域；其中，所述可观测边界为所述视觉目标中遮挡部分与被遮挡部分的分界线，所述下邻接边界点为与所述可观测边界点相邻，且与该可观测边界点的深度差最大的像素点，所述视觉目标的轮廓点为与所述视觉目标的像素点相邻的其他像素点不全为背景像素点或视觉目标像素点的像素点；

针对所述正面未知区域中任意两个相邻的可观测边界点，确定所述两个可观测边界点与其对应的下邻接边界点围成的四边形区域为子区域；并利用三角形剖分算法，对所述子区域进行建模；

根据所述子区域内三角形剖面的面积以及所述子区域的法向量与该子区域内三角形剖面的法向量的夹角，确定在预设的参考观测方位上可观测到所述正面未知区域中的面积，以及并根据在所述当前观测方位上可观测到所述视觉目标的已知区域，确定在所述参考观测方位上可观测到所述背面未知区域中的面积；