[发明专利]利用运动补偿进行图像的深度提取的系统和方法

权利要求书

1.一种将至少两个图像进行立体匹配的方法，该方法包括：

从场景获取第一图像和第二图像的序列(502)，所述序列包括第一图像和第二图像的多个连续帧；

对至少一个帧估计第一图像中的至少一个点与第二图像中的至少一个对应点的视差(504，506)；

估计第一图像中的至少一个点从至少一个帧到至少下一连续帧的运动(605)；

在序列的第一方向中基于所估计的至少前一帧的视差来估计至少下一连续帧的视差(508)，其中利用所估计的运动来补偿所估计的至少下一连续帧的视差；以及

在序列的第二方向中基于所估计的至少前一帧的视差使所估计的多个连续帧中的每一连续帧的视差最小化(512)。

2.如权利要求1的方法，其中第一图像包括立体对的左眼视图图像而第二图像包括立体对的右眼视图图像。

3.如权利要求2的方法，其中估计至少下一连续帧的视差包括计算时间成本函数(508)。

4.如权利要求3的方法，其中计算时间成本函数进一步包括：

从所估计的至少前一帧的视差预测当前帧的视差(602，608)；

从当前帧的第一图像和第二图像估计当前帧的视差(610)；以及

使所估计的当前帧的视差最小化(616)，其中利用所预测的当前帧的视差来初始化最小化的步骤(618)。

5.如权利要求4的方法，其中预测当前帧的视差进一步包括：

估计从至少前一帧到当前帧的运动场(605)，以及

利用所估计的运动场来偏转所估计的至少前一帧的视差(608)。

6.如权利要求5的方法，其中在序列的第二方向中使估计的视差最小化进一步包括：

利用所估计的运动场将所估计的当前帧的视差偏转到至少前一帧。

7.如权利要求1的方法，进一步包括使用置信传播函数使所估计的至少一个帧的视差最小化(512)，其中利用低成本优化函数所确定的至少一个帧的估计视差来初始化置信传播函数(510)。

8.如权利要求7的方法，进一步包括使用置信传播函数使所估计的至少一个连续帧的视差最小化(512)，其中利用运动补偿后的所估计的至少前一帧的视差来初始化置信传播函数。

9.如权利要求3的方法，其中估计视差的步骤包括计算像素匹配成本函数(504)。

10.如权利要求3的方法，其中估计视差的步骤包括计算平滑度成本函数(506)。

11.一种用于将至少两个图像进行立体匹配的系统(100)，包括：

用于从场景获取第一图像和第二图像的部件，序列包括第一图像和第二图像的多个连续帧；

运动补偿器(137)，用于估计第一图像中的至少一个点从至少一个帧到至少一个连续帧的运动；以及

视差估计器(118)，被配置为：对于至少一个帧估计第一图像中的至少一个点与第二图像中的至少一个对应点的视差，在序列的第一方向中基于所估计的至少前一帧的视差来估计至少下一连续帧的视差，其中利用所估计的运动来补偿所估计的至少下一连续帧的视差，并且在序列的第二方向中基于所估计的至少前一帧的视差使所估计的多个连续帧中的每一连续帧的视差最小化。

12.如权利要求11的系统(100)，其中第一图像包括立体对的左眼视图图像而第二图像包括立体对的右眼视图图像。

13.如权利要求11的系统(100)，其中视差估计器(118)包括时间成本函数(136)。

14.如权利要求17的系统(100)，其中视差估计器(118)被进一步配置为：

从所估计的至少前一帧的视差预测当前帧的视差，从当前帧的第一图像和第二图像估计当前帧的视差以及使所估计的当前帧的视差最小化，其中利用所预测的当前帧的视差来初始化最小化的步骤。

15.如权利要求14的系统(100)，其运动补偿器(137)被进一步配置为估计从至少前一帧到当前帧的运动场，并且视差估计器(118)被进一步配置为利用所估计的运动场来偏转所估计的至少前一帧的视差。