[发明专利]一种基于空间骨架信息的手绘草图三维模型重建方法

权利要求书

1.一种基于空间骨架信息的手绘草图三维模型重建方法，其特征在于，该方法包括如下步骤，步骤1、在训练阶段，首先使用边缘提取器从渲染图像中获得合成草图x，通过草图编码器E_v-s得到其平均形状特征，通过空间骨架引导编码器E_ss得到骨架特征，特征融合后通过解码器的自注意力层，最后由解码器D_v进行三维反卷积重建得到体素，与真实模型计算损失；其中，在特征提取阶段，域自适应编码器E_v-h对手绘草图提取特征，并与合成草图特征进行相似性约束，实现域迁移；

步骤2、测试阶段，对于合成草图输入，通过E_v-s与E_ss得到特征向量，融合后通过D_v进行预测；对于手绘草图输入，通过E_v-h与E_ss得到特征向量，融合后通过D_v进行预测。

2.根据权利要求1所述的一种基于空间骨架信息的手绘草图三维模型重建方法，其特征在于，所述步骤1包括以下步骤：

步骤1.1、使用先求导后二值化的方式，从ShapeNet数据集中的渲染图像中获得合成草图作为训练的输入；

步骤1.2、特征提取阶段

步骤1.2.1、获得合成草图后，得到同维度1×1024的平均形状特征z_v＝E_v-s(x)和骨架特征z_p＝E_ss(x)，z_v偏向表示类别的平均形状，可视为全局信息，z_p则由骨架数据引导，可视为局部结构的信息；预测骨架P＝E_ss(x)与真实骨架P_gt进行倒角距离约束，该损失只用来训练E_ss网络的参数

步骤1.2.2、在模型参数稳定时，引入域自适应方法；将手绘草图m表示为n种不同风格的集合，表示为：{m₁,m₂,…,m_i,…m_n}，将合成草图表示为在此集合之外的风格m_n+1，域自适应方法的目标是将n种风格对齐到m_n+1中；

每个epoch中，间隔400次迭代训练输入手绘草图，通过域自适应编码器E_v-h得到域自适应特征:

得到和z_v后，通过约束函数L_da训练E_v-h：

这里使用Earth-Mover距离，使得网络训练更加稳定，不会出现一般GAN网络训练时梯度消失问题；

步骤1.3、特征融合及反卷积重建阶段

步骤1.3.1、将z_v与z_p进行融合，采用对应元素相加的方式

z＝z_v+z_p

步骤1.3.2、通过解码器D_v对融合特征进行自注意力操作，得到体素模型，V＝D_v(z)，并通过体素重建损失L_vol训练E_v-s和D_v。