[发明专利]稀疏视差图稠密化方法和装置

说明书

技术领域

本发明总体地涉及视差图像处理，更具体地涉及稀疏视差图像处理方法和装置。

背景技术

已经开发了许多基于视差图像(或视差图像)检测物体的方法，例如基于视差图像检测人、车辆、栅栏等。例如，在计算机视觉领域，人的检测和跟踪已经成为了活跃的研究对象，因为它可以为计算机自动地感知人提供关键的信息，并且为一些高层应用(如人的活动识别和场景理解)提供底层服务。

但是，有时，由于相机的性能限制或者场景本身的特性等因素，可能会得到视差点比较稀疏的视差图，后文称之为稀疏视差图。稀疏是一个相对主观的词汇，含义是指只存在少量的有效视差像素，而且主要是不连续地出现在对象的边缘。出现这种现象的原因可能是一些立体匹配算法只匹配强纹理点或只采纳髙置信度的点。由于稀疏视差图效应，可能使得难于检测到物体如人、车辆等。

在题为“Method for forming a depth image from digital image data”的美国专利US6891966 B2中，提出了一种方法和装置，其中对全图实现稠密化，并且使用了颜色辅助的八邻域最小均方误差(LMS)的插值过程。具体来说，首先在对全体深度图集合利用一致性测试后获得一幅关于场景的稀疏的基于特征点的深度图。然后，通过对该稀疏特征点深度图施加一个颜色辅助的深度传播过程获得一幅完全稠密的特征点深度图。最后，通过对该完全稠密的特征点深度图施加颜色辅助的八邻域最小均方误差(LMS)进行插值，获得稠密前景深度。

在题为“Apparatus and method for correcting disparity map”的美国专利US20120155743 A1中：首先，一个视差图区域设置单元利用当前帧的二值图像将对象区分为内部和外部区域。视差图区域设置单元包括立体相机的左右图，以及前一帧的三维模型，以对当前帧的视差图设置内部和外部区。接着，一个姿态估计单元使用当前帧的二值图和前一帧的二值图获得3D模型的二维投影的视差信息，来估计对象的姿态，其中，当前帧和前一帧3D模型有仿射变换。最后，视差图矫正单元使用视差信息以及内部区域和外部区域被设置了的视差图来矫正视差。该技术使用了三维模型的视差信息，还涉及到3D重构的过程。

发明内容

希望提供一种稀疏视差图稠密化技术，其中即便不具有前景掩膜中的对象的先验知识，也能够避免或减轻前景掩膜中的属于不同对象的视差的歧义性。

根据本发明的一个方面，提供了一种对稀疏视差图进行稠密化处理的稀疏视差图稠密化方法，可以包括：视差图获得步骤，获得视差图，该视差图为稀疏型的视差图；前景像素定位步骤，定位视差图中的前景像素；前景对象外轮廓和内轮廓提取步骤，在视差图中，基于定位到的前景像素，提取前景对象与背景间的交界轮廓作为前景对象的外轮廓，并将与前景对象的外轮廓相关联的像素标记为属于第一类，以及提取前景对象之间的交界轮廓作为前景对象的内轮廓，并将与前景对象的内轮廓相关联的像素标记为属于第二类；以及前景像素填充步骤，对于前景像素之中需要填充的像素，将该像素归类为第一类或第二类，并且在该像素被归类为第一类的情况下利用在该像素周围的预定区域中的与该像素属于同一类且具有有效视差值的像素的视差值，来估计该像素的视差值，而在该像素被归类为第二类的情况下，不对该像素的视差值进行估计。

根据本发明的另一方面，提供了一种对稀疏视差图进行稠密化处理的稀疏视差图稠密化装置，可以包括：图像获得部件，获得视差图，该视差图为稀疏型的视差图；前景像素定位部件，定位视差图中的前景像素；前景对象外轮廓和内轮廓提取部件，在视差图中，基于定位到的前景像素，提取前景对象与背景间的交界轮廓作为前景对象的外轮廓，并将与前景对象的外轮廓相关联的像素标记为属于第一类，以及提取前景对象之间的交界轮廓作为前景对象的内轮廓，并将与前景对象的内轮廓相关联的像素标记为属于第二类；以及前景像素填充部件，对于前景像素之中需要填充的像素，将该像素归类为第一类或第二类，并且在该像素被归类为第一类的情况下利用在该像素周围的预定区域中的与该像素属于同一类且具有有效视差值的像素的视差值，来估计该像素的视差值，而在该像素被归类为第二类的情况下，不对该像素的视差值进行估计。