[发明专利]用于使用偏振提示进行透明对象分段的系统和方法

说明书

一种用于计算对场景的图像的预测的计算机实施的方法包含：接收场景的一个或多个偏振原始帧，所述偏振原始帧利用偏振滤波器在不同线性偏振角下捕获；从所述偏振原始帧提取一个或多个偏振表示空间中的一个或多个第一张量；以及基于所述一个或多个偏振表示空间中的所述一个或多个第一张量计算关于所述场景中的一个或多个在光学上具有挑战性的对象的预测。

相关申请的交叉参考

本申请要求2020年3月29日在美国专利商标局提交的第63/001,445号美国临时专利申请的优先权及权益，所述美国临时专利申请的全部公开内容以引用的方式并入本文中。

技术领域

本公开的实施例的方面涉及计算机视觉的领域以及将图像分段为图像中描绘的相异对象。

背景技术

语义分段指代捕获场景的一个或多个二维(2-D)图像以及以算法方式将图像的各个区(例如，图像的每一像素)分类为属于特定类的对象的计算机视觉过程。举例来说，将语义分段应用于花园中的人的图像可将类指派到输入图像的个别像素，其中所述类可包含现实世界对象的类型，例如：人；动物；树；大地；天空；岩石；建筑物；等等。例项分段指代进一步将唯一标签应用于对象的不同例项中的每一个，例如方式是用不同识别符单独地标记输入图像中的每个人和每只动物。

语义分段或例项分段过程的一个可能输出是分段地图或分段掩码，其可以是具有与输入图像相同的尺寸的2-D图像，且其中每一像素的值对应于一标签(例如，在语义分段的情况下为特定类，或在例项分段的情况下为特定例项)。

透明对象的图像的分段是计算机视觉中的困难的遗留问题。透明对象缺乏纹理(例如，表面颜色信息，例如在“纹理映射”中，正如该术语在计算机图形的领域中使用)，实际上采用那些透明对象后方的场景(例如，穿过透明对象可见的场景的背景)的纹理或外观。因此，在一些情况下，所捕获场景中的透明对象(和其它在光学上具有挑战性的对象)是语义分段算法大体上不可见的，或可基于穿过那些透明对象可见的对象来分类。

发明内容

本公开的实施例的方面涉及通过使用光偏振(光波的旋转)向语义分段或其它机器视觉过程提供额外信息通道来进行图像的透明对象分段。本公开的实施例的方面还涉及通过使用光偏振进行图像中的其它在光学上具有挑战性的对象的检测和/或分段，其中在光学上具有挑战性的对象可展现一个或多个条件，包含：非朗伯；半透明；多路径诱导；或非反射。在一些实施例中，偏振相机用于捕获偏振原始帧以生成多模态图像(例如，多维偏振信息)。本公开的实施例的一些方面涉及使用深度学习主干来处理多模态偏振输入数据的神经网络架构。相应地，本公开的实施例在各种场景和背景条件下对杂乱、透明和其它在光学上具有挑战性的对象可靠地执行例项分段，借此展现相比于单单基于强度图像的对比方法的改进。

根据本公开的一个实施例，一种用于计算对场景的图像的预测的计算机实施的方法包含：接收场景的一个或多个偏振原始帧，所述偏振原始帧利用偏振滤波器在不同线性偏振角下捕获；从偏振原始帧提取一个或多个偏振表示空间中的一个或多个第一张量；以及基于所述一个或多个偏振表示空间中的所述一个或多个第一张量计算关于场景中的一个或多个在光学上具有挑战性的对象的预测。

所述一个或多个偏振表示空间中的所述一个或多个第一张量可包含：线性偏振度(DOLP)表示空间中的DOLP图像；以及线性偏振角(AOLP)表示空间中的AOLP图像。

所述一个或多个第一张量可进一步包含一个或多个非偏振表示空间中的一个或多个非偏振张量，且所述一个或多个非偏振张量可包含强度表示空间中的一个或多个强度图像。

所述一个或多个强度图像可包含：第一颜色强度图像；第二颜色强度图像；以及第三颜色强度图像。

所述预测可包含分段掩码。

所述计算所述预测可包含将所述一个或多个第一张量供应到一个或多个相应卷积神经网络(CNN)主干，且所述一个或多个CNN主干中的每一个可被配置成以多个不同比例计算多个模张量。