[发明专利]用于使用偏振提示进行透明对象分段的系统和方法

权利要求书

1.一种用于计算关于场景的图像的预测的计算机实施的方法，其特征在于：所述方法包括：

接收场景的一个或多个偏振原始帧，所述偏振原始帧利用偏振滤波器在不同线性偏振角下捕获；

从所述偏振原始帧提取一个或多个偏振表示空间中的一个或多个第一张量；以及

基于所述一个或多个偏振表示空间中的所述一个或多个第一张量计算关于所述场景中的一个或多个在光学上具有挑战性的对象的预测。

2.根据权利要求1所述的计算机实施的方法，其特征在于：所述一个或多个偏振表示空间中的所述一个或多个第一张量包括：

线性偏振度(DOLP)表示空间中的DOLP图像；以及

线性偏振角(AOLP)表示空间中的AOLP图像。

3.根据权利要求1所述的计算机实施的方法，其特征在于：所述一个或多个第一张量进一步包括一个或多个非偏振表示空间中的一个或多个非偏振张量，且

其中所述一个或多个非偏振张量包括强度表示空间中的一个或多个强度图像。

4.根据权利要求3所述的计算机实施的方法，其特征在于：所述一个或多个强度图像包括：

第一颜色强度图像；

第二颜色强度图像；以及

第三颜色强度图像。

5.根据权利要求1、2、3或4所述的计算机实施的方法，其特征在于：所述预测包括分段掩码。

6.根据权利要求5所述的计算机实施的方法，其特征在于：所述计算所述预测包括将所述一个或多个第一张量供应到一个或多个相应卷积神经网络(CNN)主干，且

其中所述一个或多个CNN主干中的每一个被配置成在多个不同比例下计算多个模张量。

7.根据权利要求6所述的计算机实施的方法，其特征在于：所述计算所述预测进一步包括：

融合由所述一个或多个CNN主干在相同比例下计算的所述模张量。

8.根据权利要求7所述的计算机实施的方法，其特征在于：所述融合所述相同比例下的所述模张量包括：

串接所述相同比例下的所述模张量；

将所述模张量供应到注意力子网络以计算一个或多个注意力地图；以及

基于所述一个或多个注意力地图对所述模张量进行加权以计算所述比例的融合张量。

9.根据权利要求8所述的计算机实施的方法，其特征在于：所述计算所述预测进一步包括将每一比例下计算的所述融合张量供应到被配置成计算所述分段掩码的预测模块。

10.根据权利要求5所述的计算机实施的方法，其特征在于：所述分段掩码被供应到机器人拾取臂的控制器。

11.根据权利要求1、2、3或4所述的计算机实施的方法，其特征在于：所述预测包括基于所述一个或多个在光学上具有挑战性的对象对所述一个或多个偏振原始帧的分类。

12.根据权利要求1、2、3或4所述的计算机实施的方法，其特征在于：所述预测包括所述一个或多个偏振原始帧中描绘的所述一个或多个在光学上具有挑战性的对象的一个或多个检测到的特征。

13.根据权利要求1所述的计算机实施的方法，其特征在于：所述计算所述预测包括将所述一个或多个偏振表示空间中的所述一个或多个第一张量供应到统计模型，且

其中使用包括所述一个或多个偏振表示空间中的训练第一张量的训练数据和标签训练所述统计模型。

14.根据权利要求13所述的计算机实施的方法，其特征在于：所述训练数据包括：

从由偏振相机捕获的数据计算的所述一个或多个偏振表示空间中的源训练第一张量；以及

经由包括旋转的仿射变换从所述源训练第一张量生成的额外训练第一张量。