[发明专利]一种多光谱多视角环境感知方法

说明书

该发明公开了一种多光谱多视角环境感知方法，涉及计算机视觉领域。利用在多模态数据融合中经常被规避和忽略的视差信息，推算深度信息，为了产生显著的视差信息，针对性的设计长基线安装方案，利用深度信息和多光谱信息融合进行环境感知，有效的提高环境感知的准确性。

技术领域

本发明涉及计算机视觉领域。具体涉及到一种多光谱多视角环境感知方法。

背景技术

多光谱多传感器环境感知是提升环境感知任务鲁棒性的重要途径，以往的多光谱多传感器环境感知方案采用多个传感器采集不同波段的图像，为了更好的融合多个传感器拍摄的图像，传感器之间的基线往往设计的较小，以规避两种波段图像之间的视差，方便下游任务的处理。视差会导致不同图像之间存在偏移，对于同时利用不同波段图像进行环境感知的方案而言，不同波段的图像存在的偏移会对环境感知的结果造成干扰。太短的基线虽然能够减小图像之间的视差，避免了图像配准的流程。但也损失了环境感知的一种潜在的线索，深度信息。深度信息和视差信息存在一一对应的关系，在不存在坐标系旋转的情况下视差和深度成反比，和基线长度成正比。不同波段图像的视差如果能够准确解算，则可以利用视差对图像进行配准。并根据解算出来的视差计算深度信息。进而可以利用深度线索，融合多光谱图像序列，进一步提高环境感知的准确性。

发明内容

本发明的目的在于提供一种减小视差的多光谱多视角环境感知方法。

本发明针对多光谱多传感器数据采集，设计合理的基线长度可以获取明显的视差信息，利用视差信息，可以提高环境感知的准确性。

本发明技术方案为：一种多光谱多视角环境感知方法，其特征在于，包括以下步骤：

S1、根据探测器探测范围，设计基线长度，将不同光谱的摄像机放置在同一个基线长度为的两端；基线长度/f，其中，表示探测器焦距，表示视差，表示深度；工作距离需要符合下式（1）：

                                         (1)

其中， P表示根据实际需要设定的阈值；对遮挡的要求：限定遮挡的区域对应的圆心角小于，则：

                                           (2)

根据式(1)(2)，在确定，，的要求下，求得的范围；同时由深度和视差的偏微分为：

                                         (3)

为了让深度估计更加准确，在容许的范围内取最小，取最大值，为最优的；

S2、为消除安装偏差，摄像机需要提前标定，确定好其坐标旋转矩阵 R和基线长度；

S3、利用部署在基线两端的不同光谱的摄像机采集到不同视角的画面对；分别表示两端摄像机采集的画面；

S4、利用视差计算模型计算多光谱多视角相机之间的视差，并得到深度；

视差计算网络将作为固定图像，将作为匹配图像，和数据进行视差计算；配准网络采用编码器解码器结构生成视差；和采用独立的解码器，和，使用Tiny配置下的MSCAN模块作为基础解码器，该解码器包括4个阶段，每个阶段分辨率分别为原先的1/4,1/8,1/16,1/32,对应的通道数为32，64，160，256；

编码器直接对原始图像进行处理，得到特征 R和特征 T：