[发明专利]图像处理方法和装置

说明书

本申请实施例公开了图像处理方法和装置。该方法的一具体实施方式包括：将目标图像的初始特征图像输入该第一网络的用于生成特征图像的卷积层；将该初始特征图像输入该第二网络的用于生成特征图像的卷积层，将该第一网络的其中一个用于生成特征图像的卷积层的结果输入第二网络的目标卷积层；利用基于该第一网络的输出所确定的损失值，以及基于该第二网络的输出所确定的损失值，训练该多任务学习模型。本申请的实施例提供的模型中的图像分割网络和关键点检测网络，不仅可以利用本网络卷积得到的特征，还可以利用另一条支路网络所得到的特征。这样，可以对不同网络中的特征进行融合，以得到目标图像的更加丰富的特征，避免遗漏部分特征。

技术领域

本申请实施例涉及计算机技术领域，具体涉及互联网技术领域，尤其涉及图像处理方法和装置。

背景技术

多任务神经网络可以包括多个分支，以对图像进行多种处理。举例来说，可以对人体图像或者人脸图像进行多种操作。比如，操作可以是分割图像或者检测关键点等等。

用于分割图像的网络与用于检测关键点的网络采用不同的监督方法，所提取的特征也各有侧重。

发明内容

本申请实施例提出了图像处理方法和装置。

第一方面，本申请实施例提供了一种图像处理方法，包括：应用于多任务学习模型，多任务学习模型包括第一网络和第二网络，第一网络和第二网络包括至少一个级联的、用于生成特征图像的卷积层，方法包括：将目标图像的初始特征图像输入第一网络的用于生成特征图像的卷积层，其中，第一网络为图像分割网络或关键点检测网络；将初始特征图像输入第二网络的用于生成特征图像的卷积层，将第一网络的其中一个用于生成特征图像的卷积层的结果输入第二网络的目标卷积层，其中，第二网络为图像分割网络或关键点检测网络中的另一个，第二网络的目标卷积层为第二网络任意一个用于生成特征图像的卷积层；利用基于第一网络的输出所确定的损失值，以及基于第二网络的输出所确定的损失值，训练多任务学习模型。

在一些实施例中，方法还包括：基于第二网络的目标卷积层的结果，确定第二网络的其中一个用于生成特征图像的卷积层的结果，将第二网络的其中一个用于生成特征图像的卷积层的结果输入第一网络的目标卷积层，其中，第一网络的目标卷积层为第一网络的其中一个用于生成特征图像的卷积层之后的卷积层。

在一些实施例中，利用基于第一网络的输出所确定的损失值，以及基于第二网络的输出所确定的损失值，训练多任务学习模型，包括：确定第一网络的输出所确定的损失值，与第二网络的输出所确定的损失值的和；利用和，在多任务学习模型中进行反向传播，以训练多任务学习模型。

在一些实施例中，将初始特征图像输入第二网络的用于生成特征图像的卷积层，将第一网络的其中一个用于生成特征图像的卷积层的结果输入第二网络的目标卷积层，包括：将初始特征图像与第一网络的其中一个用于生成特征图像的卷积层的结果相融合，得到融合后特征图像；将融合后特征图像输入第二网络的首个卷积层。

在一些实施例中，将第一网络的其中一个用于生成特征图像的卷积层的结果输入第二网络的目标卷积层，包括：将第二网络的目标卷积层的上一个卷积层的结果，与第一网络的其中一个用于生成特征图像的卷积层的结果相融合，得到第一融合后特征图像；将第一融合后特征图像输入第二网络的目标卷积层。

在一些实施例中，将第二网络的其中一个用于生成特征图像的卷积层的结果输入第一网络的目标卷积层，包括：将第一网络的目标卷积层的上一个卷积层的结果，与第二网络的其中一个用于生成特征图像的卷积层的结果相融合，得到第二融合后特征图像；将第二融合后特征图像输入第一网络的目标卷积层。

在一些实施例中，第一网络的目标卷积层为第一网络的其中一个用于生成特征图像的卷积层或其中一个用于输出结果的卷积层，用于输出结果的卷积层为图像分割网络的基于特征图像分割出区域的卷积层，或关键点检测网络的基于特征图像检测到关键点的位置的卷积层。