[发明专利]用于利用偏振增强传感器系统和成像系统的系统和方法

说明书

一种多模态传感器系统，包括：底层传感器系统；偏振相机系统，所述偏振相机系统被配置为俘获与多个不同偏振状态相对应的偏振原始帧；以及处理系统，包括处理器和存储器，所述处理系统被配置为控制所述底层传感器系统和所述偏振相机系统，所述存储器存储指令，所述指令在由所述处理器执行时使所述处理器：控制所述底层传感器系统对场景执行感测并且控制所述偏振相机系统俘获所述场景的多个偏振原始帧；基于所述多个偏振原始帧提取偏振表示空间中的第一张量；以及基于所述底层传感器系统的输出和偏振表示空间中的第一张量计算特性化输出。

相关申请的交叉参考

本申请要求在2019年10月7日向美国专利商标局提交的第62/911,952号美国临时专利申请、在2019年11月30日向美国专利商标局提交的第62/942，113号美国临时专利申请和在2020年3月29日向美国专利商标局提交的第63/001,445号的美国临时专利申请的优先权和益处，其全部公开内容通过引用并入本文。

技术领域

本公开的实施例的方面涉及传感器系统的领域，包括利用偏振增强的传感器系统。

背景技术

诸如雷达、激光雷达(lidar)、相机(例如，可见光和/或红外线)等的传感器系统和成像系统通过电磁辐射与环境的相互作用来检测环境中的物体和特征。例如，相机系统和激光雷达系统检测从场景或环境中的物体反射的光。同样地，雷达系统发射较低频率的电磁波(例如，射频或微波频率)并基于这些信号的反射来确定物体的属性。其它传感器系统可以使用其它形式的辐射，例如在超声成像的情况下使用压力波或声波。

发明内容

本公开的实施例的方面涉及用于使用偏振来增强传感器系统和成像系统的系统和方法。根据本公开的实施例的一些方面，被配置为检测所接收的电磁辐射的偏振的传感器被用于增强其他成像模态的性能或行为，其他成像模态诸如被配置为检测光的强度而不考虑光的偏振的相机。在本公开的实施例的一些方面，被配置为检测所接收的电磁辐射的偏振的传感器被用于形成图像，否则将使用诸如数码相机的比较成像系统来形成该图像。本公开的实施例的一些方面涉及被配置为检测光的偏振的相机系统。

根据本公开的一个实施例，一种多模态传感器系统包括：底层传感器系统；偏振相机系统，所述偏振相机系统被配置为俘获与多个不同偏振状态相对应的偏振原始帧；以及处理系统，包括处理器和存储器，所述处理系统被配置为控制所述底层传感器系统和所述偏振相机系统，所述存储器存储指令，所述指令在由所述处理器执行时，使所述处理器：控制所述底层传感器系统对场景执行感测并且控制所述偏振相机系统俘获所述场景的多个偏振原始帧；基于所述多个偏振原始帧提取偏振表示空间中的第一张量；以及基于所述底层传感器系统的输出和所述偏振表示空间中的第一张量计算特性化输出。

偏振相机系统可以包括偏振相机模块，该偏振相机模块包括：第一偏振相机，其包括处于第一偏振定向的第一偏振滤光器，所述第一偏振相机具有第一光轴；第二偏振相机，其包括处于第二偏振定向的第二偏振滤光器，所述第二偏振相机具有基本上平行于所述第一光轴的第二光轴；以及第三偏振相机，其包括处于第三偏振定向的第三偏振滤光器，所述第三偏振相机具有基本上平行于所述第一光轴的第三光轴。

偏振相机模块还可以包括第四偏振相机，所述第四偏振相机包括处于第四偏振定向的第四偏振滤光器，所述第四偏振相机具有基本上平行于所述第一光轴的第四光轴。

第一张量可以包括线性偏振度(DOLP)和线性偏振角(AOLP)，并且存储器还可以存储指令，所述指令在由处理器执行时，使处理器基于由第一偏振相机、第二偏振相机和第三偏振相机俘获的偏振原始帧来计算DOLP和AOLP，所述指令包括用于以下操作的指令：基于斯塔克斯向量(stakes vector)初始化估计的DOLP和估计的AOLP；基于所述偏振原始帧中的视差移位来估计场景几何形状以生成粗略模型；以及迭代地：基于所述估计的DOLP和所述估计的AOLP细化所述粗略模型以生成估计的几何形状；以及基于估计几何形状来更新所述估计的DOLP和所述估计的AOLP，直到所述估计的DOLP中的变化和所述估计的AOLP中的变化都小于对应阈值。