[发明专利]一种基于对抗网络和自注意力机制的无监督语义分割算法

说明书

一种基于对抗网络和自注意力机制的无监督语义分割算法涉及人工智能、自动驾驶领域，实现对自动驾驶图像的准确分割，其包括以下步骤：步骤1、获得自动驾驶图像数据；步骤2、利用对抗生成网络得到原始图像的生成图像；步骤3、利用超像素图像分割算法对原始图像进行预分割；步骤4、将图像输入局部特征提取网络获得图像的局部特征；步骤5、将图像输入全局特征提取网络获得图像的全局特征；步骤6、将局部特征和全局特征相加，并经过一层卷积层和Softmax函数层得到图像的初步分割结果；步骤7、计算预分割结果与原始图像分割结果之间的互信息以及预分割结果与生成图像分割结果之间的互信息；步骤8、采用梯度下降法对分割模型进行训练得到图像分割结果。

技术领域：

本发明属于人工智能、自动驾驶领域，即利用一种基于对抗网络和注意力机制的无监督语义分割算法实现对自动驾驶图像的准确分割。

背景技术：

基于自动驾驶图像的语义分割研究可以帮助技术人员更加深刻的理解图像内容，提高自动驾驶的安全性。随着深度学习的快速发展，新的卷积神经网络和模型架构层出不穷，这些新的深度学习方法在图像语义分割领域的应用极大地提升了图像语义分割的准确率和分割效率。然而大多数深度学习模型的训练过程都依赖大规模的标注数据，这极大地限制了深度学习模型在图像分割领域的推广和应用，基于此本发明提出了一种新的无监督语义分割算法。

无监督的语义分割就是将没有标签的数据集作为输入，模型能够将图像中的每个像素都标记为不同的标签。而在模型训练过程中遇到的最重要的问题是像素如何学习到高级语义概念。现有的无监督语义分割方法，大多使用超像素对图像进行预分割，然后在模型的迭代过程中逐步对小区域进行合并，最后得到符合人类预期的分割结果。而这种方法往往对预分割的分割结果较敏感，需要找到合适的预分割参数，且分割结果不稳定。因此本发明利用对抗网络生成原始图像数据的生成图像数据并假设生成图像数据与原始图像数据具有相同的标签，通过不断优化神经网络使得神经网络对生成图像数据进行分割所得到的标签和对原始数据分割所得到的标签尽可能相似，从而实现对原始图像数据的无监督分割。

目前大多数无监督语义分割网络使用卷积神经网络(Convolutional NeuralNetworks,CNN)来提取图像特征，CNN模型以分层的方式收集局部特征以获得更好的图像表示，因此在局部特征提取方面有很大的优势，但CNN在获取全局特征方面还是存在不足，而全局特征在语义分割任务中又是很重要的。为解决这个问题，本发明提出了利用自注意力机制(Self-Attention)来捕捉图像上的感受野，从而获得图像全局特征的最优表示。另外，本发明提出了基于CNN和Self-Attention的局部-全局特征提取网络，以实现原始图像特征的准确提取。

本发明提出了利用对抗网络解决基于超像素的无监督语义分割算法中所存在的对预分割的分割结果较敏感且分割结果不稳定的问题。为解决CNN网络对全局特征提取不准确的问题，本发明提出将自注意力机制应用于图像全局特征提取，并提出了基于CNN和Self-Attention的局部-全局特征提取网络。

发明内容

本发明提出了一种无监督图像语义分割方法，具体包含以下步骤：

步骤1、获取自动驾驶图像数据；

步骤2、利用对抗生成网络得到原始图像的生成图像；

步骤3、利用超像素图像分割算法对原始图像进行预分割；

步骤4、将图像输入局部特征提取网络获得图像的局部特征；

步骤5、将图像输入全局特征提取网络获得图像的全局特征；

步骤6、将局部特征和全局特征相加，并经过一层卷积层和Softmax函数层得到图像的初步分割结果；

步骤7、计算预分割结果与原始图像分割结果之间的互信息以及预分割结果与生成图像分割结果之间的互信息；