[发明专利]一种基于注意力机制的轻量级网络实时语义分割方法

说明书

本发明涉及一种基于注意力机制的轻量级网络实时语义分割方法，用以解决分割精度与分割效率难以达到平衡，不能满足实际应用的问题。包括：图像数据准备；构建基于注意力机制的轻量级实时语义分割网络，提出一种新的非对称编码‑解码网络结构，在编码器中，使用了轻量化模块‑可分离非对称模块，该模块结合了深度可分离非对称卷积和空洞卷积的优点，在保持精度的同时大大降低了计算量；在解码器中设计了一个注意力特征融合模块，将编码器中的特征与解码器中的特征进行融合，将其融合后的的特征经过注意力机制的选择和组合，增强对恢复图像信息有用的特征，有效提高了网络分割的精度；最终利用训练完成的分割网络实现语义分割。

技术领域：

本发明属于图像语义分割技术领域，涉及一种基于注意力机制的轻量级网络实时语义分割方法。

背景技术：

近年来，随着计算机技术和传感器技术的飞速发展，机器人研究取得了巨大的进步，越来越多的服务机器人被广泛地应用于社会生产生活中。机器人服务人类时，首先需要建立对周围环境的认知和理解，然后完成一系列其他任务，如机器人定位、导航、路径规划等，因此对环境的认知和理解能力直接影响着机器人性能的优劣。语义分割是场景理解的基石性技术，它将图像中的每个像素按照语义含义的不同进行分组，也就是对图像中的每个像素进行分类。图像经过语义分割后，通过将低层图像特征映射为高层语义特征，可以帮助机器人更好地理解图像中的高层信息，为后续的分析决策提供参考依据。目前，利用语义分割技术构建语义地图，能够帮助机器人更好地理解周围场景，已经成为机器人地图构建的主要趋势。然而语义分割需要大量的计算，机器人不能实时进行环境感知。针对上述问题，有学者提出利用轻量化模型，以减少网络的参数量，提高实时性，但轻量化模型为了减少网络层数，简化了解码器中的操作，忽视了解码器恢复信息的能力，导致准确性大大降低。因此，面向机器人环境感知的实时语义分割是一个具有挑战性的问题。

当前，基于深度神经网络的语义分割的研究主要集中在两个方向：(1)通过增加网络深度来提高分割精度；(2)通过降低网络层数，构建轻量级模型，提高分割效率。在提高网络分割精度方面，2017年Zhao,H.,Shi,J.,Qi,X.,Wang,X.,Jia,J.:Pyramid sceneparsing network.In:2017 IEEE Conference on Computer Vision and PatternRecognition(CVPR)(2017)提出利用金字塔池化模块来聚合不同区域的上下文信息，进而提高获取全局信息的能力；2017年Lin,G.,Milan,A.,Shen,C.,Reid,I.D.:RefineNet:Multi-path refinement networks for high-resolution semantic segmentation In:2017 IEEE Conference on Computer Vision and Pattern Recognition(CVPR)(2017)引入长距离残差连接融合不同尺度特征，通过递归方法提取低分辨率特征信息来生成高分辨率特征。上述语义分割算法在分割精度方面有了很大的提高，但网络结构过于复杂，无法满足实际应用的实时性要求。在提升网络效率方面，2016年Paszke A,Chaurasia A,Kim S,etal.ENet:A Deep Neural Network Architecture for Real-Time SemanticSegmentation[J].2016.(2016)设计了具有瓶颈模块的非对称编解码器结构，在网络前端不断向下采样以降低特征图的分辨率，并将瓶颈模块与非对称卷积结合以进一步提高分割效率，2018年Zhao,H.,Qi,X.,Shen,X.,Shi,J.,Jia,J.:ICNet for Real-Time SemanticSegmentation on High-Resolution images:15th European Conference,Munich,Germany,September 8–14,2018,Proceedings,Part III edn,pp.418–434(2018)设计了一种将特征融合单元与标签引导相结合的图像级联网络，可以在较低计算量下逐步细化分割预测。虽然这些工作在降低计算成本和模型参数方面取得了很大进展，但由于没有有效联合编解码的信息，导致分割精度降低，难以满足实际应用中的可靠性要求。