[发明专利]图像处理设备、图像处理方法以及程序

权利要求书

1.一种图像处理设备，包括：

视差图生成单元，其基于构成立体图像的右图像和左图像，生成表示所述立体图像的每个像素的视差的视差图；

可靠度计算单元，其基于所述右图像和左图像，生成表示所述视差图的可靠度的可靠度图；

深度信息估计单元，其基于所述右图像和左图像中的一个图像，生成表示所述立体图像上的对象的深度的深度信息图；

深度视差转换单元，其将所述深度信息图转换成表示与所述深度相对应的视差的伪视差图；以及

视差合成单元，其基于所述可靠度图对所述视差图和所述伪视差图进行合成，以生成校正视差图。

2.根据权利要求1所述的图像处理设备，其中，所述视差合成单元通过使用由所述可靠度图确定的权重来以加权方式将所述视差图和所述伪视差图相加，生成所述校正视差图。

3.根据权利要求1所述的图像处理设备，其中，所述视差合成单元包括：

分量合成单元，其对所述伪视差图的高通分量和所述视差图的低通分量进行合成以生成合成图，以及

加法单元，其基于所述可靠度图对所述视差图和所述合成图进行合成，以生成所述校正视差图。

4.根据权利要求1所述的图像处理设备，其中，所述视差合成单元包括：

分量合成单元，其对所述伪视差图的低通分量和所述视差图的高通分量进行合成以生成合成图，以及

加法单元，其基于所述可靠度图对所述视差图和所述合成图进行合成，以生成所述校正视差图。

5.根据权利要求4所述的图像处理设备，还包括：

残差图生成单元，其生成残差图，所述残差图表示所述右图像和左图像中的一个图像的预定像素附近的区域与另一图像中对应于所述预定像素的对应像素附近的区域之间的残差，

其中，所述可靠度计算单元基于所述残差图来生成所述可靠度图。

6.根据权利要求4所述的图像处理设备，

其中，所述视差图生成单元通过检测所述右图像和左图像中的一个图像的预定像素附近的区域与另一图像的像素附近的区域之间的残差最小的、所述另一图像的像素来作为与所述一个图像的所述预定像素相对应的像素，生成所述视差图，并且

其中，所述图像处理设备还包括：

峰值锐度图生成单元，其生成峰值锐度图，所述峰值锐度图表示在所述另一图像上的预定方向上排列的像素的残差的峰值的锐度并且用于生成所述可靠度图。

7.根据权利要求4所述的图像处理设备，还包括：

匹配度计算单元，其基于与所述右图像和左图像中的一个图像的预定像素相对应的、另一图像的第一对应像素的检测结果和所述一个图像中与所述另一图像的所述第一对应像素相对应的第二对应像素的检测结果，生成表示所述预定像素与所述第一对应像素之间的匹配度的匹配度图，

其中，所述可靠度计算单元基于所述匹配度图来生成所述可靠度图。

8.一种图像处理设备的图像处理方法，所述图像处理设备包括：视差图生成单元，其基于构成立体图像的右图像和左图像，生成表示所述立体图像的每个像素的视差的视差图；可靠度计算单元，其基于所述右图像和左图像，生成表示所述视差图的可靠度的可靠度图；深度信息估计单元，其基于所述右图像和左图像中的一个图像，生成表示所述立体图像上的对象的深度的深度信息图；深度视差转换单元，其将所述深度信息图转换成表示与所述深度相对应的视差的伪视差图；以及视差合成单元，其基于所述可靠度图对所述视差图和所述伪视差图进行合成以生成校正视差图，所述图像处理方法包括：

由所述视差图生成单元生成所述视差图；

由所述可靠度计算单元生成所述可靠度图；

由所述深度信息估计单元生成所述深度信息图；

由所述深度视差转换单元生成所述伪视差图；以及

由所述视差合成单元生成所述校正视差图。