[发明专利]一种多任务的图像处理方法、装置、电子设备及存储介质

权利要求书

1.一种多任务的图像处理方法，其特征在于，包括：

获得待处理的目标图像；

将所述目标图像输入至预先训练的神经网络模型，得到所述目标图像的人像蒙版，以及所述目标图像中每个人体关键点的热度图；其中，所述神经网络模型为基于样本图像、所述样本图像的真值人像蒙版以及所述样本图像中每个人体关键点的真值热度图所训练得到的、用于生成人像蒙版和热度图的模型；所述神经网络模型包括：顺次连接的特征提取网络和分支网络组，所述分支网络组包括作为并列分支的热度图生成网络和人像蒙版生成网络；所述特征提取网络用于提取所述样本图像的特征矩阵；所述人像蒙版生成网络用于基于所述样本图像的特征矩阵，生成所述样本图像的人像蒙版；所述热度图生成网络用于基于所述样本图像的特征矩阵，生成所述样本图像中每个人体关键点的热度图；

根据所述目标图像中每个人体关键点的热度图，确定所述目标图像中每个人体关键点的坐标；

根据所述目标图像的人像蒙版，对所述目标图像进行人像分割，得到分割结果；

所述人像蒙版生成网络基于所述样本图像的特征矩阵，生成所述样本图像的人像蒙版，包括：基于所述样本图像的特征矩阵，生成所述样本图像的人像蒙版，并将所述样本图像的人像蒙版输入至所述热度图生成网络；相应的，所述热度图生成网络基于所述样本图像的特征矩阵，生成所述样本图像中每个人体关键点的热度图，包括：基于所述样本图像的特征矩阵以及所述人像蒙版生成网络所输出的人像蒙版，生成所述样本图像中每个人体关键点的热度图；

或者，

所述热度图生成网络基于所述样本图像的特征矩阵，生成所述样本图像中每个人体关键点的热度图，包括：基于所述样本图像的特征矩阵，生成所述样本图像中每个人体关键点的热度图，并将所述样本图像中每个人体关键点的热度图输入至所述人像蒙版生成网络；相应的，所述人像蒙版生成网络基于所述样本图像的特征矩阵，生成所述样本图像的人像蒙版，包括：基于所述样本图像的特征矩阵以及所述热度图生成网络所生成的所述样本图像中每个人体关键点的热度图，生成所述样本图像的人像蒙版。

2.根据权利要求1所述的方法，其特征在于，所述神经网络模型的训练过程包括：

获得多个样本图像，以及每个样本图像的真值人像蒙版和每个样本图像中每个人体关键点的坐标；

针对每个样本图像，利用该样本图像中每个人体关键点的坐标，生成每个人体关键点的真值热度图；

针对每个样本图像，将该样本图像输入至训练中的神经网络模型，以使所述神经网络模型中的特征提取网络从该样本图像中提取特征矩阵，并将所提取的该样本图像的特征矩阵分别输入至所述人像蒙版生成网络和所述热度图生成模型，使得所述热度图生成网络基于所接收到的特征矩阵，生成该样本图像中每个人体关键点的预测热度图，并且，使得所述人像蒙版生成网络基于所接收到的特征矩阵，生成该样本图像的预测人像蒙版；

基于每个样本图像的真值人像蒙版与预测人像蒙版的差异，以及每个样本图像中人体关键点的真值热度图和预测热度图的差异，计算综合损失值；

基于所述综合损失值，判断训练中的所述神经网络模型是否收敛，如果收敛，结束训练，得到训练完成的所述神经网络模型；否则，调整所述神经网络模型的网络参数，继续训练所述神经网络模型。

3.根据权利要求2所述的方法，其特征在于，所述针对每个样本图像，将该样本图像输入至训练中的神经网络模型的步骤之前，所述训练过程还包括：

针对每个样本图像，对该样本图像的图像矩阵中的每一元素进行归一化处理，得到该样本图像的归一化后的图像矩阵；

针对每个样本图像，将该样本图像输入至训练中的神经网络模型的步骤，包括：

针对每个样本图像，将该样本图像的归一化后的图像矩阵输入至训练中的神经网络模型；

所述将所述目标图像输入至预先训练的神经网络模型，得到所述目标图像的人像蒙版，以及所述目标图像中每个人体关键点的热度图的步骤之前，所述方法还包括：

对所述目标图像的图像矩阵中的每一元素进行归一化处理，得到所述目标图像的归一化后的图像矩阵；

所述将所述目标图像输入至预先训练的神经网络模型，得到所述目标图像的人像蒙版，以及所述目标图像中每个人体关键点的热度图的步骤，包括：

将所述目标图像的归一化后的图像矩阵输入至预先训练的神经网络模型，得到所述目标图像的人像蒙版，以及所述目标图像中每个人体关键点的热度图。