[发明专利]基于集成学习和概率图模型的图像语义分割方法及装置

说明书

本发明公开了一种基于集成学习和概率图模型的图像语义分割方法，包括：对待分割图像进行语义分割，得到多个分割结果；对所述多个分割结果进行集成，得到集成结果；将所述集成结果转换为一元势能；将所述一元势能与所述待分割图像输入到概率图模型中，通过最大后验概率推理得到最终语义分割结果。本发明既可以利用多个不同方法或模型或在不同尺度上的性能偏好，并利用其差异度，又可利用概率图模型的建模和推理能力进行图像语义分割，提高了图像语义分割的准确度。另外，基于概率图模型推理的图像语义分割具有更强的可解释性。

技术领域

本发明涉及计算机视觉领域，具体涉及一种基于集成学习和概率图模型的图像语义分割方法及装置。

背景技术

图像语义分割是指将各种模态的图像分割为不同的语义区域的操作。语义分割有着广泛的应用前景，例如对街道场景进行语义分割以作为自动驾驶的判定依据，将物体从照片中分割出来并指出其为何种物体，从医学图像中提取出病灶区域并指出其为良性或恶行以作为诊断或手术依据，这些都属于图像语义分割的实际应用实例。在不同的任务或场景中，人们对语义的具体范围和关注重点是千差万别的，自动驾驶重点关注交通指示及车辆行人，自然场景中关注物体的类别，医学场景中关注病灶的性质和边界范围。

近年来，随着深度神经网络学习方法的发展的应用，图像语义分割取得了突破性的进展。典型的深度神经网络方法有FCN，DEEPLAB系列，SEGNET，HRNET等。这些方法取得很大的进度，成功将深度神经网络方法应用于解决图像语义分割问题。但是，深度神经网络方法有几个比较突出的问题限制了其性能的进一步提高和实际应用。第一，神经网络的输出结果没有考虑图像局部特征，有时候会出现明显的错误，例如将视觉上非常相似的区域划分不同的类别；第二，深度神经网络受超参数的影响非常大，不同的超参数得到的模型及其预测结果性能表现很不稳定，有时候甚至是大相径庭；第三，深度神经网络的可解释性较弱，其神经网络模型中的参数缺乏可解释性和实际的物理意义且不可以按照预期进行人工参数调整。第四，深度神经网络模型在预测阶段无法进行人工干预或引入先验知识。针对问题一，有研究提出在深度神经网络的输出层后加上条件随机场的概率图模型；进一步，使用循环神经网络求解概率图模型的参数，但是这个方法只是对单个神经网络结果进行优化，受单个神经网络的输出限制非常明显。针对问题二，一个可解决的方案是，使用集成学习，从多个神经网络的输出结果找出最后的分割结果，传统的集成学习方法往往使用多数投票的方式来决定最后的分割结果，但是，多数投票在图像分割问题上却没有考虑图像本身的信息，仍然会出现一些明显的错误。因此，亟待新的解决方案以进一步推动图像语义分割的发展和进步。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于集成学习和概率图模型的图像语义分割方法及装置，用于解决现有技术的至少一个缺陷。

为实现上述目的及其他相关目的，本发明提供一种基于集成学习和概率图模型的图像语义分割方法，包括：

对待分割图像进行语义分割，得到多个分割结果；

对所述多个分割结果进行集成，得到集成结果；

将所述集成结果转换为一元势能；

将所述一元势能与所述待分割图像输入到概率图模型中，通过最大后验概率推理得到最终语义分割结果。

可选地，对待分割图像进行语义分割，得到多个分割结果，包括：

使用不同语义分割方法或不同的语义分割模型对待分割图像进行自动语义分割，得到多个分割结果；

或/和对待分割图像进行人工语义分割，得到多个分割结果。

可选地，使用不同方法或不同的语义分割模型对待分割图像的进行不同尺度变换后的图像进行语义分割，并将分割结果通过插值运算变换回原始尺度。

可选地，将多个分割结果通过堆叠的方式得到集成结果。