[发明专利]基于表面隐函数的单目图像着装人体重建方法与系统

说明书

本发明公开了一种基于表面隐函数的单目图像着装人体重建方法与系统。包括：获取高精度着装人体模型并进行渲染和表面采样，运用所述采样点构建训练集，提取所述渲染得到的着装人体图像的特征图和粗预测SMPL，将所述生成的SMPL体素化并使用三维卷积融合各部分的特征，得到三维空间下融合编码后的体素特征，获取给定查询点的混合局部特征，通过图卷积和交叉注意力获取空间中给定查询点的局部点云特征，训练和构建离散点占有率估算模型，生成着装人体模型。本发明具备对输入图像更好的保真性和细节恢复能力；设计的网络保证模型结构的鲁棒性，提高模型对人体图像与3D语义特征的感知和表达能力，并保证重建人体模型的完整性和细致程度，可视化效果更好。

技术领域

本发明涉及计算机视觉，计算机图形学，三维重建领域，具体涉及一种基于表面隐函数的单目图像着装人体重建方法与系统。

背景技术

虚拟现实技术为当下的现代社会生活提供了极大地便利，它被广泛应用于娱乐，教育，医疗等领域。元宇宙的火爆更是为虚拟现实带来了第二春，元宇宙需要创造与现实世界相对应的虚拟世界，因此需要用于计算机显示的图形以供构建基本要素，三维模型则必不可少。虚拟现实技术中的一项关键技术便是三维重建，而其一个应用领域，基于单目图像的着装人体重建可以为构建元宇宙中的可视化图形要素提供技术方案。

早期基于优化算法的重建技术无法生成鲁棒的模型，并且无法很好地保留图像中的要素并恢复来自图像的细节。随着大数据和人工智能的发展，基于数据驱动的深度学习方法开始应用于单目图像三维重建，这些方法通过标注的图像-三维模型样本对训练神经网络，以学习从图像中恢复三维模型的函数。

以三维模型在神经网络中的表示形态为依据，基于深度学习的方法可以分为显式表示和隐式表示。显式表示方法中主要为基于体素的表示方法，它将三维模型表示为一个个最小立方体的组合，用神经网络根据给定图像预测出空间中每个体素是否属于模型内部，但这类方法的空间复杂度随分辨率成立方增长，难以扩大网络规模。因此隐式表示方法在近年来受到更多关注，它对给定三维坐标点和图像信息，由MLP预测出该查询点在目标模型中的占有概率值。该方法拟合出的隐式曲面能有效恢复模型细节，并且空间利用高效，具有对图像更好的保真性。

目前的现有技术之一，是通过3D建模专家通过给定概念图，在3D建模软件中手工设计目标3D网格模型。该方法的缺点是通过人工建模的方法需要时间成本和资金成本，在不需要高精度模型的情况下，生产效率和成本都无法达到预期，且该工作通常只能单人完成，无法流水线化。

目前的现有技术之二，“一种将人体模型表示为离散体素的显式建模方法”，该方法首先通过神经网络预测出图像中的2D人体关节点位置，然后结合图像的特征信息，预测出三维空间中人体关节点热度图，最后为空间中每个体素进行概率赋值，通过进一步融合图像特征，使用三维卷积得出每个体素属于人体内部的概率值。该方法的缺点是生成体素需要指定空间中的体素分辨率，类似于图像有不同清晰度，体素分辨率越高，建模越精细，但是体素模型的空间占用随分辨率呈现立方增长，无法实现高精度建模，而且生成的着装人体模型往往无法恢复细节，相对图像具有较差的保真性。

目前的现有技术之三，“一种基于隐函数和混合特征的着装人体模型重建方法”，该方法先通过图像预测出SMPL参数化人体模型，然后将其体素化，进行3D卷积，同时将图像经过SHG网络，生成图像特征，对于给定三维空间中的点，由相机参数生成其在图像上的投影点，插值得到该投影点的2D像素对齐特征，然后在体素特征中同样通过三维空间中的插值得到3D体素特征，特征混合后输入到MLP中预测出该指定的三维空间中的点属于待预测模型内部的概率值。该方案的缺点是从SMPL体素化生成的3D特征存在量化误差，对特征的表达不够精确，体素化后特征在空间中分布相对稀疏，且基于体素的3D卷积操作空间占用高，无法形成比较深的网络结构，对于给定体素，无法在卷积后具有全局的感受野，模型表达能力受限。

发明内容