[发明专利]语义分割网络的训练方法、图像处理方法及其设备

说明书

本申请提供一种语义分割网络的训练方法、图像处理方法、终端设备以及计算机可读存储介质。语义分割网络包括编码网络和解码网络，解码网络包括主解码网络和辅解码网络，其中，辅解码网络包括扰动设置和解码器，训练方法包括：将训练图像集输入编码网络，训练图像集包括多张训练图像，得到训练图像的中间表示；将中间表示输入主解码网络，得到训练图像的第一标签数据；将中间表示输入扰动设置和解码器，得到训练图像的第二标签数据；利用训练图像的第一标签数据和第二标签数据获取第一损失函数，并基于第一损失函数对语义分割网络进行训练。本申请提供的技术方案有利于提高网络的精准度和鲁棒性。

技术领域

本申请涉及图像处理的技术领域，具体涉及语义分割网络、图像处理方法、终端设备以及计算机可读存储介质。

背景技术

在医学图像处理领域，机器学习的应用已经非常广泛，尤其在内窥镜、显微镜手术图像处理领域。内窥镜、显微镜手术由于内部可操作空间较小，只能通过极为有限的视野观察操作，手术环境较为复杂，烟雾、血液、镜面反射等都会对有限的视野造成影响，因此，对语义分割的精准度有了更高的要求，现有的DeepLabV3+深度学习网络无法满足内窥镜、显微镜手术对图像处理的精准度要求。

发明内容

本申请提供语义分割网络的训练方法、图像处理方法、终端设备以及计算机可读存储介质。

本申请采用的第一个技术方案是：提供一种语义分割网络的训练方法，语义分割网络包括编码网络和解码网络，解码网络包括主解码网络和辅解码网络，其中，辅解码网络包括扰动设置和解码器，训练方法包括：将训练图像集输入编码网络，训练图像集包括多张训练图像，得到训练图像的中间表示；将中间表示输入主解码网络，得到训练图像的第一标签数据；将中间表示输入扰动设置和解码器，得到训练图像的第二标签数据；利用训练图像的第一标签数据和第二标签数据获取第一损失函数，并基于第一损失函数对语义分割网络进行训练。

可选地，扰动设置连接编码网络以及辅解码网络中的解码器；将中间表示输入扰动设置和解码器，得到训练图像的第二标签数据，包括：将中间表示输入扰动设置，生成中间表示的扰动版本，将扰动版本输入解码器，得到训练图像的第二标签数据。

可选地，利用训练图像的第一标签数据和第二标签数据获取第一损失函数，包括：利用均方差损失函数计算训练图像的第一标签数据和第二标签数据之间的误差；计算所有训练图像的第一标签数据和第二标签数据之间的误差的平均数，作为第一损失函数。

可选地，辅解码网络的数量为多个，每个辅解码网络包括一个对应的扰动设置；利用均方差损失函数计算训练图像的第一标签数据和第二标签数据之间的误差，包括：获取每个辅解码网络输出的训练图像的第二标签数据；利用均方差损失函数计算训练图像的第一标签数据与每个辅解码网络对应的第二标签数据之间的误差；计算训练图像的第一标签数据与所有辅解码网络对应的第二标签数据之间的误差的平均数，作为训练图像的第一标签数据和第二标签数据之间的误差。

可选地，扰动设置包括F-Noise、F-Drop、Guided Masking、Intermediate VAT以及SpatialDropout中的任意一种或几种。

可选地，训练图像集包括第一图像和带有第三标签数据的第二图像；将训练图像集输入编码网络之前，包括：利用第二图像训练语义分割网络；基于第一损失函数对语义分割网络进行训练，包括：利用第二图像的第一标签数据和第三标签数据获取第二损失函数；利用第二损失函数和第一损失函数构成第三损失函数；以减小第三损失函数为目的，对语义分割网络进行训练。

可选地，利用第二图像的第一标签数据和第三标签数据获取第二损失函数，包括：利用交叉熵损失函数计算第二图像的第一标签数据和第三标签数据之间的误差；计算所有第二图像的第一标签数据和第三标签数据之间的误差的平均数，作为第二损失函数。

可选地，将训练图像集输入编码网络之前，包括：利用泊松图像编辑算法对训练图像集进行预处理。