[发明专利]人体三维模型的建立方法、装置、电子设备及存储介质

说明书

本公开关于一种人体三维模型的建立方法、装置、电子设备及存储介质，有助于提高建立的人体三维模型的精度。该方法包括：获取包括人体的待处理图像；将待处理图像输入神经网络模型分别得到第一中间特征图和待处理图像中人体的二维关键点的位置；第一中间特征图用于表征待处理图像中人体在待处理图像中的表面结构信息；对第一中间特征图和人体的二维关键点位置进行融合处理，得到融合特征图；将融合特征图输入图卷积神经网络，得到人体的位姿参数；将融合特征图输入参数提取网络，得到人体形态参数以及相机参数；根据位姿参数、人体形态参数以及相机参数，建立人体的人体三维模型。

技术领域

本公开涉及计算机视觉和计算机图形学技术领域，尤其涉及人体三维模型的建立方法、装置、电子设备及存储介质。

背景技术

人体三维模型的建立是计算机视觉和计算机图形学技术领域的重点问题。高质量的人体三维模型在影视娱乐、人口数据统计分析等领域有着广泛的应用前景和重要的应用价值。

目前，高质量人体三维模型的建立通常依靠价格昂贵的激光扫描仪或者多相机阵列系统来实现，此种人体三维模型的建立方法通用性差适用场景受限,建模花费的时间较长。利用深度神经网络根据单张图像进行人体三维模型的重建速度快，通用性强，但是建立的人体三维模型的精度低。

发明内容

本公开提供一种人体三维模型的建立方法、装置、电子设备及存储介质，以解决当前利用深度神经网络根据单张图像建立的人体三维模型的精度低的问题。

本公开的技术方案如下：

根据本公开实施例的第一方面，本公开实施例提供一种人体三维模型的建立方法，该方法包括：获取包括人体的待处理图像；将待处理图像输入神经网络模型分别得到第一中间特征图和待处理图像中人体的二维关键点的位置；第一中间特征图用于表征待处理图像中人体在待处理图像中的表面结构信息；对第一中间特征图和人体的二维关键点的位置进行融合处理，得到融合特征图；将融合特征图输入图卷积神经网络，得到人体的位姿参数；将融合特征图输入参数提取网络，得到人体形态参数以及相机参数；根据位姿参数、人体形态参数以及相机参数，建立人体的人体三维模型。

本公开实施例通过对包括人体的待处理图像进行处理，得到第一中间特征图和待处理图像中人体的二维关键点的位置，对第一中间特征图和人体的二维关键点的位置进行融合处理，得到融合特征图，将融合特征图输入图卷积神经网络得到人体的位姿参数，由于人体的关节点天然具有连接关系，因此使用图卷积神经网络得到的人体的位姿参数更准确。而将第一中间特征图与人体的二维关键点的位置融合得到的融合特征图，丰富了图卷积神经网络的输入，进一步提高了预测得到的人体的位姿参数的准确性。使得利用本申请得到的人体的位姿参数、人体形态参数以及相机参数建立的人体三维模型的精度更高。

在一种可能的实现方式中，上述将融合特征图输入参数提取网络，得到人体形态参数以及相机参数，包括：将融合特征图输入参数提取网络，融合融合特征图、初始人体形态参数以及预设相机参数，得到预设维度的特征图；将预设维度的特征图输入参数提取网络中的第一全连接层，得到人体形态参数；将预设维度的特征图输入参数提取网络中的第二全连接层，得到相机参数。

在另一种可能的实现方式中，上述将融合特征图输入图卷积神经网络，得到人体的位姿参数，包括：将融合特征图调整为预设尺寸；将调整后的融合特征图以及预设邻接矩阵输入图卷积神经网络，得到人体的位姿参数；其中，预设邻接矩阵用于表征人体的二维关键点之间的位置关系。

在另一种可能的实现方式中，预设邻接矩阵的行数与列数均等于人体的二维关键点的数量；该方法还包括：对于预设邻接矩阵中的每个元素均执行下列操作以确定预设邻接矩阵中每个元素的数值：当预设邻接矩阵中元素所在的行对应的关键点与该元素所在的列对应的关键点相邻时，确定该元素的数值为第一数值；当预设邻接矩阵中元素所在的行对应的关键点与该元素所在的列对应的关键点不相邻时，确定该元素的数值为第二数值。