[发明专利]一种基于稠密视差图的孔洞填充方法及车载设备

说明书

本发明提供一种基于稠密视差图的孔洞填充方法及车载设备，所述方法包括：获取稠密视差图像；遍历所述稠密视差图像中的每一行视差点确定孔洞区域和非孔洞区域；确定所述孔洞区域的位置；统计所述非孔洞区域中视差点的数量；根据所述孔洞区域的位置和所述数量对所述孔洞区域进行孔洞填充，本发明可以通过逐行搜索孔洞区域，从而使搜索结果更加准确，并且本发明可以根据孔洞区域的位置及非孔洞区域的视差点的数量进行孔洞填充，从而可以有效去除大片无纹理区域的斑块噪声，填补孔洞视差，获取平滑的稠密视差，还可以减少消耗的硬件资源。

技术领域

本发明涉及双目视觉技术领域，尤其涉及一种基于稠密视差图的孔洞填充方法及车载设备。

背景技术

双目立体视觉的原理是通过模拟人类双眼识别场景的三维信息，即从两个角度获取场景的二维图像，再通过建立图像之间的匹配关系，获得视差图像，进而根据三角测量原理，获得原始图像的深度信息，其主要包括相机标定、图像校正及双目图像匹配等主要过程，其中建立两幅图像像素点的对应关系就是立体匹配的过程，也是双目立体视觉的核心过程。

现有双目立体匹配主要有两大类，局部匹配算法和全局匹配算法。其中，局部匹配算法利用邻域信息进行匹配，即每个像素点视差的计算只在一个有限的窗口中进行，匹配时只考虑窗口中像素之间的灰度信息或位置关系，其计算复杂度较低，匹配精度较差，特别是在低纹理，视差不连续的区域容易产生误匹配，其常用方法有基于固定窗口的立体匹配方法；全局匹配算法是利用整幅图像的信息，构造具有数据项和平滑项的能量函数，使匹配问题转化为求取能量函数的全局最优的问题，所以其匹配精度较高，但相比局部匹配算法，其计算复杂度较高，耗时较长，常用方法有动态规划算法，置信度传播算法等。

双目立体匹配获得的视差图像主要分为两种，即稠密视差图像和稀疏视差图像。其中，稠密视差图像是对源图像中的每一个像素点，都有相应的视差值与其对应，信息量比较丰富；而稀疏视差图像是仅特征点有对应的视差值，非特征点处为无效视差。由于稠密视差图像可以获取丰富的三维信息，因此在三维重建和ADAS领域得到广泛应用。

然而，现阶段的得到的初始视差图像经过后处理之后往往存在空洞点(也可称为孔洞点)和斑块噪声，尤其是大片无纹理区域和深度不连续区域，例如天空中的斑块噪声。大量的噪声出会影响障碍物检测的准确性，造成大量的漏检和误检，降低产品的安全标准和用户体验。现阶段传统方法主要采用计算复杂度高的滤波器(如中值滤波，引导器滤波，双边滤波等)去除稠密视差图中的噪声视差，但由于处理效果依赖于窗口大小，一般而言，处理窗口越大，处理效果越好，但是斑点噪声去除效果并不理想，窗口增大还会直接导致硬件资源(例如FPGA)的消耗直线上升。现有的滤波器后处理的对于孔洞的填充的效果欠佳。

发明内容

有鉴于此，本发明提供一种基于稠密视差图的孔洞填充方法及车载设备来解决现有技术中对稠密视差图的孔洞点处理效果较差的问题。

具体地，本发明是通过如下技术方案实现的：

本发明提供一种基于稠密视差图的孔洞填充方法，所述方法包括：

获取稠密视差图像；

遍历所述稠密视差图像中的每一行视差点确定孔洞区域和非孔洞区域；

确定所述孔洞区域的位置；

统计所述非孔洞区域中视差点的数量；

根据所述孔洞区域的位置和所述数量对所述孔洞区域进行孔洞填充。

作为一个实施例，遍历所述稠密视差图像中的每一行视差点确定孔洞区域和非孔洞区域，包括：

从所述稠密视差图像的第一行的左起第一个视差点开始搜索遍历；

当搜索到的视差点的视差值为0时，确定所述搜索到的视差点为孔洞点，当搜索到的视差点的视差值不为0时，确定所述搜索到的视差点为非孔洞点；