[发明专利]一种基于神经网络架构搜索的双模态图像协同语义分割方法

说明书

本发明涉及一种神经网络架构搜索的双模态图像协同语义分割方法，属于计算机视觉技术领域。设计了双模态图像协同语义分割模型，包括模态A图像编码器和模态B图像编码器和一个解码器；所述的方法包括构建适用于双模态图像语义分割的搜索空间，将不同模态的模态A图像和模态B图像输入到所述的搜索空间中进行搜索，利用归一化指数函数对搜索空间进行连续化，利用梯度下降的方式对网络进行优化；对优化后的网络进行解码得到最优的适用于双模态图像的语义分割网络；将模态A图像和模态B图像输入到步骤3解码得到的语义分割网络进行重新训练，得到最终的双模态图像语义分割网络，利用双模态图像语义分割网络对图像进行分割。

技术领域

本发明属于计算机视觉技术领域，具体涉及一种神经网络架构搜索的双模态图像协同语义分割方法。

背景技术

语义分割是场景感知的基础和重要任务，在很多领域都有广泛的应用，比如自动驾驶，视觉导航，机器人感知等。近年来，双模态图像的语义分割在辅助信息(如深度信息)的帮助下，显示出对光照不足和模糊对象的分割鲁棒性，受到研究人员的广泛关注。

以往的双模态图像语义分割方法主要侧重于设计一个有效的特征融合模块，从而将两种模态的特征合并为一个更强的表示。这些方法通常采用编码器-解码器框架。在编码过程中，两种模态的图像被送入两个独立的卷积神经网络(CNN)提取特征。然后提取的特征被送入精心设计的特征融合模块进行融合。最后，融合的特征被送入解码器，以逐渐恢复预测细节。如Chen等人在文献“Chen X,Lin K Y,Wang J,et al.Bi-directional cross-modality feature propagation with separation-and-aggregation gate for RGB-Dsemantic segmentation[C]//Computer Vision–ECCV 2020:16th European Conference,Glasgow,UK,August 23–28,2020,Proceedings,Part XI.Cham:Springer InternationalPublishing,2020:561-577.”中采用两个Resnet-101网络分别从RGB和深度数据中提取特征，并提出了一个分离聚合模块来合并互补信息，有效的提高RGB-D图像语义分割的精度。Zhou等人在文献“Zhou H,Qi L,Huang H,et al.CANet:Co-attention network for RGB-Dsemantic segmentation[J].Pattern Recognition,2022,124:108468.”中设计了一个协同注意力融合模块，以充分利用多模态信息。

但是，现有的方法仍然存在着一些局限性：(1)人工设计的网络需要一个不断试错的过程，其性能严重依赖于大量的人力和时间成本。(2)以往的方法通常采用相同的CNN主干网络为两种模态的图像提取特征，忽略了不同模态数据间显著的模态差异。这使得以往的方法在面对复杂场景(如室内场景)时，分割性能仍然较差。

发明内容

要解决的技术问题

针对现有双模态图像语义分割精度较低的问题，本发明提供一种基于神经网络架构搜索的双模态图像协同语义分割方法。

技术方案

一种基于神经网络架构搜索的双模态图像协同语义分割模型，其特征在于包括模态A图像编码器和模态B图像编码器和一个解码器，模态A图像编码器和模态B图像编码器分别用来提取双模态图像的特征；解码器用来生成具有融合特征的最终分割；两个编码器和解码器均由神经网络架构搜索方法自动设计。

一种基于神经网络架构搜索的双模态图像协同语义分割方法，其特征在于步骤如下：

步骤1：构建适用于双模态图像语义分割的搜索空间