[发明专利]图像处理方法、图像处理模型的训练方法和装置

说明书

本公开提供了一种图像处理方法、图像处理模型的训练方法和装置，涉及人工智能技术领域，具体涉及图像处理、计算机视觉、增强现实和深度学习、虚拟数字人等技术领域，可应用于元宇宙等场景。实现方案为：获得目标图像，目标图像中包括目标对象，目标对象与目标类型对应，目标类型对应有多个关键点，多个关键点中的每一个关键点具有相应的结构化信息，结构化信息至少指示多个关键点中与相应关键点相邻的至少一个关键点；基于目标图像，获得多个关键点中的每一个关键点对应的关键点特征；以及基于多个关键点中的每一个关键点对应的关键点特征和结构化信息，获得多个关键点中的每一个关键点在目标图像中对应的位置。

技术领域

本公开涉及人工智能技术领域，具体涉及图像处理、计算机视觉、增强现实和深度学习等技术领域，可应用于元宇宙、虚拟数字人等场景，具体涉及一种图像处理方法、图像处理模型的训练方法、装置、电子设备、计算机可读存储介质和计算机程序产品。

背景技术

人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。

于人工智能的图像处理技术，通过对包含对象的图像进行处理，可以估计处图像中的对象的姿态，根据所估计的姿态，可以实现三维动画制作、虚拟现实等应用。

在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明，否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地，除非另有指明，否则此部分中提及的问题不应认为在任何现有技术中已被公认。

发明内容

本公开提供了一种图像处理方法、图像处理模型的训练方法、装置、电子设备、计算机可读存储介质和计算机程序产品。

根据本公开的一方面，提供了一种图像处理方法，包括：获得目标图像，所述目标图像中包括目标对象，所述目标对象与目标类型对应，所述目标类型对应有多个关键点，所述多个关键点中的每一个关键点具有相应的结构化信息，所述结构化信息至少指示所述多个关键点中与所述结构化信息的相应关键点相邻的至少一个关键点；基于所述目标图像，获得所述多个关键点中的每一个关键点对应的关键点特征；以及基于所述多个关键点中的每一个关键点对应的关键点特征和结构化信息，获得所述多个关键点中的每一个关键点在所述目标图像中对应的位置。

根据本公开的另一方面，提供了一种图像处理模型的训练方法，所述图像处理模型包括关键点检测网络和图神经网络，所述方法包括：获得包含训练对象的训练图像，所述训练对象与目标类型相应，所述目标类型对应有多个关键点，所述多个关键点中的每一个关键点具有相应的结构化信息，所述结构化信息至少指示所述多个关键点中与所述结构化信息的相应关键点相邻的至少一个关键点；获得所述训练图像的标注标签，所述标注标签指示所述多个关键点中的每一个关键点在所述目标图像中的位置；将所述训练图像输入到所述关键点检测网络，以获得所述训练图像中与所述多个关键点分别对应的多个第一预测点和所述多个第一预测点中的每一个第一预测点对应的预测点特征；将所述多个第一预测点中的每一个第一预测点对应的预测点特征和结构化信息输入至所述图神经网络，以获得所述训练图像中与所述多个关键点分别对应的多个第二预测点；以及基于所述标注标签、所述多个第一预测点和所述多个第二预测点，调整所述图像处理模型的参数。