[发明专利]图像处理方法、神经网络及其训练方法、装置和设备

说明书

本公开提供了一种图像处理方法、神经网络及其训练方法、装置和设备，涉及人工智能技术领域，具体涉及计算机视觉、图像处理和深度学习技术。该方法包括：利用多个编码层对待处理图像进行协同处理，以得到具有不同尺寸的多个第一特征图；对每一个第一特征图进行特征提取，以得到具有目标尺寸的至少一个第二特征图，目标尺寸包括多个第一特征图中的尺寸最小的第一特征图的尺寸；对尺寸最小的第一特征图进行特征提取，以得到第三特征图；基于第三特征图的尺寸，在第二特征图中确定要进行融合的第一待融合特征图；将第一待融合特征图与第三特征图进行融合，以得到第四特征图；以及利用多个解码层对第四特征图进行协同处理，以得到图像处理结果。

技术领域

本公开涉及人工智能技术领域，具体涉及计算机视觉、图像处理和深度学习技术，特别涉及一种图像处理方法、神经网络的训练方法、神经网络、电子设备、计算机可读存储介质和计算机程序产品。

背景技术

人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术:人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。

随着人工智能相关技术的发展与应用，越来越多的领域显露出对智能化、自动化技术的强烈需求，其中图像/视频处理领域就是其中之一。目前，人像分割是该领域中的一个重要分支，应用和落地量大，因此各个应用程序对于人像分割有很大的需求，但是同时也有很高的要求，尤其以精度和速度指标最为重要。

在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明，否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地，除非另有指明，否则此部分中提及的问题不应认为在任何现有技术中已被公认。

发明内容

本公开提供了一种图像处理方法、神经网络的训练方法、神经网络、电子设备、计算机可读存储介质和计算机程序产品。

根据本公开的一方面，提供了一种图像处理方法。该包括：利用多个编码层对待处理图像进行协同处理，以得到具有不同尺寸的多个第一特征图；对多个第一特征图中的每一个第一特征图进行特征提取，以得到具有目标尺寸的至少一个第二特征图，目标尺寸包括多个第一特征图中的尺寸最小的第一特征图的尺寸；对尺寸最小的第一特征图进行特征提取，以得到与多个第一特征图各自对应的至少一个第二特征图均不同的第三特征图，其中，第三特征图与尺寸最小的第一特征图的尺寸相同；基于第三特征图的尺寸，在与多个第一特征图各自对应的至少一个第二特征图中确定要进行融合的至少一个第一待融合特征图；将至少一个第一待融合特征图与第三特征图进行融合，以得到第四特征图；以及利用多个解码层对第四特征图进行协同处理，以得到图像处理结果。

根据本公开的一方面，提供了一种神经网络的训练方法。神经网络包括多个编码层、多个编码层之后的多个第一特征提取子网络、多个编码层之后的第二特征提取子网络、以及第二特征提取子网络之后的多个解码层。该方法包括：获取样本图像和样本图像的真实标签；利用多个编码层对样本图像进行协同处理，以得到具有不同尺寸的多个第一样本特征图；针对多个第一样本特征图中的每一个第一样本特征图，利用多个第一特征提取子网络中与该第一样本特征图对应的至少一个第一特征提取子网络对该第一样本特征图进行处理，以得到具有目标尺寸的至少一个第二样本特征图，目标尺寸包括多个第一特征图中的尺寸最小的第一特征图的尺寸；利用第二特征提取子网络对尺寸最小的第一样本特征图进行处理，以得到与多个第一特征图各自对应的至少一个第二特征图均不同的第三样本特征图，其中，第三样本特征图与尺寸最小的第一样本特征图的尺寸相同；基于第三样本特征图的尺寸，在与多个第一样本特征图各自对应的至少一个第二样本特征图中确定至少一个第一待融合样本特征图；将至少一个第一待融合样本特征图与第三样本特征图进行融合，以得到第四样本特征图；利用多个解码层对第四样本特征图进行协同处理，以得到样本图像的预测标签；以及基于预测标签和真实标签计算损失值，以调整神经网络的参数。