[发明专利]人体建模模型获取方法、装置、电子设备及存储介质

说明书

本发明实施例提供了人体建模模型获取方法、装置、电子设备及存储介质，计算真值关键点信息与预测关键点信息的关键点损失，并结合关键点损失及人体蒙版损失计算得到深度学习模型的损失，从而根据深度学习模型的损失反向调节深度学习模型的参数。在计算深度学习模型的损失时，加入关键点损失，能够有效提高关键点对参数调整的影响，从而提高深度学习模型的性能。在计算深度学习模型的损失时，加入了人体蒙版损失，能够对人体所在区域及人体形状等进行约束。

技术领域

本发明涉及深度学习技术领域，特别是涉及人体建模模型获取方法、装置、电子设备及存储介质。

背景技术

随着计算机视觉技术的发展，特别是深度学习算法的出现，基于图像的人工智能技术快速崛起。3D(Dimension，维度)人体重建是计算机视觉领域中的一个分支算法，可用于人体意图识别，虚拟形象建立，人体动作捕捉，人体交互游戏等应用，利用人体图像得到三维人体蒙版，具体可以如图1a-图1d所示，其中图1a为人体图像，图1b为三维人体模型的主视图的人体蒙版，图1c为三维人体模型的左视图的人体蒙版，图1d为三维人体模型的右视图的人体蒙版。

现有技术中，在训练用于人体建模的深度学习模型的过程中，将样本图像输入到深度学习模型中，预测得到的人体蒙版。计算预测得到的人体蒙版中各点位与样本图像的真值人体蒙版中各点位的差值的均值，作为深度学习模型的损失，并基于该损失反向调节深度学习模型的参数。

然而发明人在研究中发现，人体蒙版中各点位对人体蒙版建模的重要程度不同，例如，皮肤表层点位对人体蒙版建模的重要度，明显小于关节点位对对人体蒙版建模的重要度，因此采用上述方法，训练得到的深度学习模型的性能差。

发明内容

本发明实施例的目的在于提供一种人体建模模型获取方法、装置、电子设备及存储介质，以实现提高深度信息模型的性能。具体技术方案如下：

第一方面，本申请实施例提供了一种人体建模模型获取方法，所述方法包括：

获取样本图像集，其中，所述样本图像集包括多组样本图像数据，每组所述样本图像数据均标记有真值关键点信息及真值人体蒙版信息；

在所述样本图像集中选取样本图像数据，输入到待训练的深度学习模型中，得到预测姿态信息、预测镜头信息及预测形状信息；

将所述预测姿态信息、所述预测镜头信息及所述预测形状信息输入到预设人体三维模型中，得到预测三维人体模型信息；

基于所述预测三维人体模型信息，计算得到预测人体蒙版信息及预测关键点信息；

计算选取的样本图像数据的真值关键点信息与预测关键点信息的损失，得到关键点损失；计算选取的样本图像数据的真值人体蒙版信息与预测人体蒙版信息的损失，得到人体蒙版损失；

结合所述关键点损失及所述人体蒙版损失，计算所述深度学习模型的损失；

根据所述深度学习模型的损失，调整所述深度学习模型的参数，返回执行在所述样本图像集中选取样本图像数据，输入到待训练的深度学习模型中，得到预测姿态信息、预测镜头信息及预测形状信息的步骤，直至满足预设的结束条件，得到人体建模模型。

第二方面，本申请实施例提供了一种人体建模方法，所述方法包括：

将待转换图像数据输入到人体建模模型中进行分析，得到所述待转换图像对应的预测三维人体模型信息，其中，所述人体建模模型采用任一人体建模模型获取方法训练得到。

第三方面，本申请实施例提供了一种人体建模模型获取装置，所述装置包括：

图像集获取单元，用于获取样本图像集，其中，所述样本图像集包括多组样本图像数据，每组所述样本图像数据均标记有真值关键点信息及真值人体蒙版信息；