[发明专利]一种基于空间骨架信息的手绘草图三维模型重建方法

说明书

本发明公开了一种基于空间骨架信息的手绘草图三维模型重建方法，提出空间骨架引导编码器、域自适应编码器和自注意力解码器，通过空间骨架编码器提取草图的骨架特征，骨架信息作为一种先验知识来提供重建完整三维模型所需的辅助信息，域自适应编码器将合成草图学习到的知识迁移到手绘草图中，基于注意力的解码器消除歧义性，本方法提升了单张手绘草图的三维重建精度。自注意力机制使得模型区分轮廓相似度较高的草图输入；相对于其他技术使用判别器与梯度反转层的域自适应方法，其训练的值函数相当于最小化两个分布之间的Jensen‑Shannon散度，因为最小化的散度对于生成器参数来说可能不是连续的，而本发明的域自适应约束函数可被认为处处可微，训练更加稳定。

技术领域

本发明属于计算机视觉、三维重建技术领域，具体是一种基于深度学习技术空间骨架引导域自适应的草图三维重建方法。

背景技术

从二维图像重建对应三维模型在人机交互以及虚拟现实、增强现实等领域发挥着极其重要的作用。传统方法依赖用户学习使用多种复杂的编辑工具，掌握空间曲面等几何知识，并且只能重建相对简单的椭球状物体，无法推广到复杂对象。随着深度学习技术的发展和大型数据库的出现，基于深度学习的方法对用户友好，对一些较为复杂的对象也可以得到不错的重建结果。多视图重建的方法对草图要求较高，用户需要提供不同视角下的精确草图，或者在辅助线的规定下绘制草图，不适合未经培训的新手用户，因此目前主流的方法放松了对输入草图的限制，进一步将其视为单视图重建任务。但是草图信息稀疏、风格多变、透视不明确导致的歧义性问题是单视图重建方法的阻碍。一些方法使用辅助信息来丰富草图语义表示，例如视角信息、前景遮罩信息等等，以此来尝试解决信息稀疏的问题，但这些辅助信息不充分有效，无法得到更加精确的重建结果，另外在缺少草图数据集的条件下，有些方法使用合成数据训练网络，却没有拟合合成数据与真实手绘之间的域差异，没有增强模型的泛化能力，因此无法得到空间结构完整并符合输入的三维模型。为此本发明针对当前技术未完全解决的问题，提出一种基于深度学习网络的、空间骨架引导的域自适应手绘草图三维重建方法，可以通过空间骨架信息提供细微结构的先验知识，使用自注意力机制学习草图中细节之间的依赖关系，消除歧义性，提升重建的精度，通过域自适应方法进一步提高模型在手绘草图域的性能。

发明内容

本发明提出了一种空间骨架的域自适应手绘草图三维重建方法，提出空间骨架引导编码器、域自适应编码器和自注意力解码器，通过空间骨架编码器提取草图的骨架特征，骨架信息作为一种先验知识来提供重建完整三维模型所需的辅助信息，域自适应编码器将合成草图学习到的知识迁移到手绘草图中，而基于注意力的解码器可以消除歧义性问题，本方法提升了单张手绘草图的三维重建精度。

为实现上述目的，本发明采用如下技术方案：

步骤1、在训练阶段，首先使用边缘提取器从渲染图像中获得合成草图x，通过草图编码器E_v-s得到其平均形状特征，通过空间骨架引导编码器E_ss得到骨架特征，特征融合后通过解码器的自注意力层，最后由解码器D_v进行三维反卷积重建得到体素，与真实模型计算损失。其中，在特征提取阶段，域自适应编码器E_v-h对手绘草图提取特征，并与合成草图特征进行相似性约束，实现域迁移。

步骤2、测试阶段，对于合成草图输入，通过E_v-s与E_ss得到特征向量，融合后通过D_v进行预测；对于手绘草图输入，通过E_v-h与E_ss得到特征向量，融合后通过D_v进行预测。

所述步骤1包括以下步骤：

步骤1.1、使用先求导后二值化的方式，从ShapeNet数据集中的渲染图像中获得合成草图作为训练的输入

步骤1.2、特征提取阶段