[发明专利]一种多光谱多视角环境感知方法

权利要求书

1.一种多光谱多视角环境感知方法，其特征在于，包括以下步骤：

S1、根据探测器探测范围，设计基线长度，将不同光谱的摄像机放置在同一个基线长度为的两端；基线长度/f，其中，表示探测器焦距，表示视差，表示深度；工作距离需要符合下式（1）：

    (1)

其中，P表示根据实际需要设定的阈值，对遮挡的要求：限定遮挡的区域对应的圆心角小于，则：

         (2)

根据式(1)(2)，在确定，，的要求下，求得的范围；同时由深度和视差的偏微分为：

      (3)

为了让深度估计更加准确，在容许的范围内取最小，取最大值，为最优的；

S2、为消除安装偏差，摄像机需要提前标定，确定好其坐标旋转矩阵和基线长度；

S3、利用部署在基线两端的不同光谱的摄像机采集到不同视角的画面对；分别表示两端摄像机采集的画面；

S4、利用视差计算模型计算多光谱多视角相机之间的视差，并得到深度；

视差计算网络将作为固定图像，将作为匹配图像，和数据进行视差计算；配准网络采用编码器解码器结构生成视差；和采用独立的解码器，和，使用Tiny配置下的MSCAN模块作为基础解码器，该解码器包括4个阶段，每个阶段分辨率分别为原先的1/4,1/8,1/16,1/32,对应的通道数为32，64，160，256；

编码器直接对原始图像进行处理，得到特征R和特征T：

     （4）

R和T由不同尺度的特征组成其中下标为编码器阶段，不同阶段输出的特征其尺度不同；R和T内各元素表示提取到的对应特征；

相同尺度的特征通道相等，初步的特征融合模块，使用加权相加和相乘来对模态特征R和T做初步的融合处理；

具体过程如式（5）所示：

      (5)

其中为初步融合后的特征，为学习参数；利用式(6)进行参数的更新：

   (6)

其中，表示更新后的学习参数，表示线性整流函数，的尺度不同，将上采样为的大小，为用于防止分母为零导致计算溢出的小数，然后将上采样之后的特征进行通道合并得到:

       (7)

其中表示将进行二次线性插值到大小，的分辨率为原始输入分辨率的1/4，通道数为512；

将依次通过卷积层、组数为32的组归一化层和RELU非线性层，将通道数变更为256，得到M，将M进行矩阵分解, 然后依次利用卷积层、组数为32的组归一化层和激活函数，对矩阵分解的得到的V进行进一步处理，得到K具体计算过程如下：

    (8)

           (9)

   (10)

其中，表示组归一化，表示卷积，表示对进行矩阵分解；

最后依次利用卷积层、批归一化、Tanh非线性层，将K转化为我们需要视差数据；使用Tanh非线性层的一个考虑是需要将视差数据限制在有效范围[-1,1]之内：

          (11)

其中，K表示公式（11）的计算结果；

S5、利用视差对 进行配准得到，表示标准化函数，表示非线性变换函数；

S6、将深度和多光谱图像一起输入到多模态融合的环境感知模型中，执行感知任务。