[发明专利]用于基于局部确定的3D信息假说执行3D估计的装置和方法

说明书

根据实施例，用于基于至少两个不同视场的照片执行3D估计的装置包括假说提供器、相似度量度计算器、和3D信息确定器。假说提供器用于基于将3D信息估计与第一视场的照片的每个位置相关联的预估计，局部确定至少两个不同视场中的第一视场的当前照片的位置的3D信息假说。相似度量度计算器用于对第一视场的当前照片的每个位置，通过测量相应位置处的第一视场的当前照片的区域和位于相对于相应位置移位相应3D信息假说的位置处的至少两个不同视场中的第二视场的对应区域之间的相似度，计算相应位置的3D信息假说中的每个的相似度量度。3D信息确定器用于对第一视场的每个位置，选择最高相似度量度的3D信息假说。

技术领域

本申请涉及用于使用局部确定的3D信息假说、基于至少两个不同视场的照片来执行3D估计的装置和方法。实施例涉及通过由局部统计驱动的信息传播的优化。

背景技术

下面，关注被用于视频通信场景或已知在实时生产环境中稳健且可靠地工作或具有与呈现的工作的概念关系的算法。对于每个算法，提出其特性、功能和应用领域的简要评论。

直到今天，许多算法合并在立体处理的早期已经开发的方法的基本功能。特别地，用于局部立体假说的评估的不同图像块[1]或空间平面[2]的比较仍是实时领域中许多方法的部分。在可以与此类别相关的大量的报告的算法中，存在已经被应用于眼睛接触保护视频通信的领域的一些算法。在此，根据眼睛接触位置，计算的3D信息被用于新视场的合成。在最近的方法[3][4][5]中，作者使用已经被详细报告的新类型的平面扫描技术[6][7]。相似地，可以包括多个视场的另一平面扫描变体[8]已经被应用在医学远程呈现场景中[9]。

在校正的立体配置情况下，已经在许多方法中追求水平视差的估计。基于基本块匹配思想，提出用于最佳视差值的定义和计算的不同方法。对于此任务，已经报告了动态编程的应用，以实现在计算复杂度和更大图像区域的合并之间的平衡，而非单纯的局部匹配，例如建立在Cox等的早期工作[13]上的[10]、[11]和[12]。其他作者提出在硬件方案中实施的分层块匹配的应用[14]或甚至关于基于自适应窗的匹配方法[15]的结果后处理方面的视差图的全局优化。虽然列出的视差估计算法是多样的，这些的全部被设计为评估固定的视差范围。关于此特征，[16][17][18]的作者提出不受限于视差值的预定义集的混合递归匹配(HRM)算法[19][20][21]。取而代之地，经由图像的曲折式遍历来传播信息。由基于光流原理计算的视差更新生成新的视差。然而，曲折式图像遍历无法并行。基于HRM的初始工作，已经存在朝向多核平台上的并行化的一些努力。虽然结果的逐行混合递归匹配(L-HRM)算法[22][23]被用于娱乐、广播和后处理的领域中，例如立体到多视场转换[24]，其中L-HRM导致逐行视差信息传播。

在其他实时应用领域中，例如自动驾驶、机器人和航空摄影中，半全局匹配(SGM)方法[25]已经被广泛地研究并实施了约十年。基于SGM的初始工作，已经存在关于导致一致半全局匹配(CSGM)算法的无纹理区域处理[26][27]方面的改进。其他作者提出关注司机辅助系统的迭代半全局匹配(iSGM)算法[28]。在此，经由通过迭代成本路径评估的视差搜索空间的减小来实现算法优化。同时，已经提供[29]并进一步改进[30]在图形硬件上的并行实施，以使SGM用于实时领域应用。由于图像硬件在具有嵌入式架构的应用领域中并非总是可用的，已经存在用于在FPGA上实施SGM的附加开发[31][32][33][34]。

另一算法是补片匹配立体(PatchMatch Stereo)[35]。基于用于基于补片的图像编辑算法[36]，基本思想已经扩展到立体处理。初始补片参数是随机绘制的。用于HRM的空间信息传播的曲折式的图像遍历也是补片匹配立体的迭代步骤的部分。此外，HRM和补片匹配立体还共享在前已经讨论的时间前驱传播的相同原理。最后，补片匹配立体引入随机化平面细化步骤。补片匹配立体将固定的随机化用于平面细化并将不断减小规则用于变量的细化范围。