[发明专利]基于SPIN模型的实时三维重建方法和系统

权利要求书

1.一种基于SPIN模型的实时三维重建方法，其特征在于，包括以下步骤：

(1)图像接收

接收来自远程摄像模块的RGB图片；

(2)图像预处理

对接收到的RGB图片进行裁剪、旋转、缩放和归一化处理后，送入ResNet50网络得到预处理的图片特征；

(3)神经网络工作

以预处理后的图片特征作为输入，分别送入SPIN神经网络和堆叠沙漏模型；SPIN神经网络负责生成人体姿态参数和粗糙的人体体型参数，堆叠沙漏模型以人体轮廓作为监督信息，计算生成轮廓与真实轮廓的一致性损失，得到优化后精细的人体体型参数；

使用输出的人体姿态和体型参数，通过SMPL库重建三维人体网格；使用可微分渲染器SoftRas将三维人体网格投影至二维，并计算以下三种损失函数：

重投影损失：计算二维投影轮廓与二维真实轮廓之间的逐像素均方误差损失；

衣着语义分割损失：对于暴露在外的人体部分和衣着下的人体部分分别监督；

顶点损失：计算重建的三维人体模型和真实的三维人体模型的逐顶点距离；

(4)结果后处理

对模型参数进行改写和封装，使其适合网络传输；

(5)参数传输

将后处理的人体模型参数传输给VR客户端。

2.根据权利要求1所述的实时三维重建方法，其特征在于，步骤(3)中，堆叠沙漏模型由三个子沙漏模块线形连接而成，一个子沙漏模块的输出是下一个子沙漏模块的输入，在每个子沙漏结构后应用的一致性损失为二维人体轮廓上的均方误差损失函数；堆叠沙漏结构损失表示为：

式中：

表示L2损失函数，n表示子沙漏模块的个数，S代表堆叠沙漏模型生成的二维人体轮廓图像，代表真实二维人体轮廓图像。

3.根据权利要求1所述的实时三维重建方法，其特征在于，步骤(3)中，使用可微分渲染器SoftRas将三维人体网格投影到二维像素空间；重投影损失表示为：

式中：

Π(M)代表三维人体网格，M重投影后得到的二维人体轮廓图像，代表真实二维人体轮廓图像。

4.根据权利要求1所述的实时三维重建方法，其特征在于，步骤(3)中，使用衣着语义分割损失SCS实现人体衣着差异化监督；对于暴露在外的人体部分应用最少衣着N损失L_SCS-N，鼓励渲染的SMPL身体和图像的人体部位之间进行紧密匹配；对于衣着下的人体部分应用衣着C损失L_SCS-C，鼓励渲染的SMPL身体部位位于衣着的内部；损失公式如下：

L_SCS-N＝∑_i，j(R_i，j·d_i，j(G))/(∑_i，jR_i，j)^3/2 (3)

L_SCS＝L_SCS-N+L_SCS-C (5)

式中：

R_i，j代表重投影二维人体轮廓像素点，当它位于真实人体轮廓G内部时，距离d_i，j(G)为0，否则为该像素到G的最短欧氏距离；y_i，j代表当前像素点属于不同人体部位标签的概率值；L_SCS则是最终的衣着语义分割损失。

5.根据权利要求1所述的实时三维重建方法，其特征在于，步骤(3)中，顶点损失对重建的三维人体模型和真实的三维人体模型进行逐顶点距离计算，其公式如下：

式中：

N为总顶点个数，表示L1损失函数，v_i代表重建的三维人体模型顶点，代表真实的三维人体模型顶点。