[发明专利]一种基于神经网络架构搜索的双模态图像协同语义分割方法

权利要求书

1.一种基于神经网络架构搜索的双模态图像协同语义分割模型，其特征在于包括模态A图像编码器和模态B图像编码器和一个解码器，模态A图像编码器和模态B图像编码器分别用来提取双模态图像的特征；解码器用来生成具有融合特征的最终分割；两个编码器和解码器均由神经网络架构搜索方法自动设计。

2.一种利用权利要求1所述的模型实现的基于神经网络架构搜索的双模态图像协同语义分割方法，其特征在于步骤如下：

步骤1：构建适用于双模态图像语义分割的搜索空间

所述的搜索空间是一种结合单元级搜索空间的网格状网络级搜索空间，包含编码器的搜索空间和解码器的搜索空间；所述的编码器的搜索空间包含两个分支，分别为模态A图像分支和模态B图像分支，采用分层的单元级搜索空间，具体的同一分辨率的特征图共享相同的单元级搜索空间，而不同分辨率的特征图具有不同的单元级搜索空间；解码器包含一个分辨率调整模块和Atrous Spatial Pyramid Pooling模块；

步骤2：将不同模态的模态A图像和模态B图像输入到步骤1所述的搜索空间中进行搜索；在搜索过程中，利用归一化指数函数对搜索空间进行连续化，然后利用梯度下降的方式对网络进行优化；

步骤3：对步骤2优化后的网络进行解码，得到最优的适用于双模态图像的语义分割网络；

步骤4：将模态A图像和模态B图像输入到步骤3解码得到的语义分割网络进行重新训练，得到最终的双模态图像语义分割网络，利用双模态图像语义分割网络对图像进行分割。

3.根据权利要求2所述基于神经网络架构搜索的双模态图像协同语义分割方法，其特征在于：步骤1所述的模态A图像分支的输入是模态A图像，将模态A图像的空间分辨率记为S；模态A图像分支由一个主干模块和L＝12层的块组成；主干模块由两个3×3的卷积组成，每个卷积的步幅为2，在经过主干模块之后，特征图的分辨率变为原来的1/4，即S/4，对应下采样率4；

在主干模块之后，特征图会经过L＝12层的块，每个块是一个基本单元结构；每两层块之间采用3种连接方式：恒等变换、2倍上采样和2倍下采样；将每一层的空间分辨率控制在S/4到S/32之间，即最小分辨率为S/32，对应下采样率32，最大分辨率为S/4，对应下采样率4；第1层块有两种空间分辨率，分别为S/4和S/8，为主干模块的输出特征图经过恒等变换和2倍下采样得到的；第2层块有三种空间分辨率，分别为S/4、S/8、S/16，为第1层块的输出特征图经过恒等变换、2倍上采样和2倍下采样得到的；第3层块有四种空间分辨率，分别为S/4、S/8、S/16、S/32，为第2层块的输出特征图经过恒等变换、2倍上采样和2倍下采样得到的；依次类推，从第4层到第12层块有四种空间分辨率，分别为S/4、S/8、S/16、S/32，为上一次块的输出特征图经过恒等变换、2倍上采样和2倍下采样得到的。

4.根据权利要求2所述基于神经网络架构搜索的双模态图像协同语义分割方法，其特征在于：步骤1所述的Atrous Spatial Pyramid Pooling模块包括五个分支：1×1的卷积，3×3的空洞卷积，空洞率为6，3×3的空洞卷积，空洞率为12，3×3的空洞卷积，空洞率为18，1×1的平均池化，1×1卷积和上采样。