[发明专利]一种基于非刚性点云的稠密对应预测方法

说明书

本发明公开了一种基于非刚性点云的稠密对应预测方法，包括：利用图卷积神经网络和多个集合抽象层分别提取三维模板和点云的几何特征；利用全局回归网络根据模板和点云的关联全局特征推断全局位移；利用局部特征嵌入技术，并引入注意机制，将点云的局部深度特征与图的几何特征进行融合；利用局部回归网络预测位移增量；利用弱监督的微调方法，对真实点云进行处理，并与两阶段回归网络统一在一个完整的框架内。本发明不仅充分利用点云的局部几何特征，采用注意策略提高对应精度，而且采用弱监督微调方法鲁棒地处理真实点云，有效改善了因训练数据的缺乏导致预测模型不合理扭曲、与输入形状明显不一致的情况。

技术领域

本发明属于三维重建领域，具体为一种基于非刚性点云的稠密对应预测方法。

背景技术

估计三维形状的稠密对应是计算机视觉和计算机图形学的基本问题之一，也是许多有前景应用(如游戏、机器人技术和虚拟现实)的重要组成部分。随着三维点云越来越普遍，非刚性点云的稠密对应估计在多视点立体、物体检索、三维重建、运动跟踪等许多研究课题中占有重要地位。然而，由于变形物体的变化、3D 数据的不完整以及相机视角的变化等因素，从点云中估计稠密对应关系仍然具有挑战性。大多数方法都是通过非刚性变形技术将模板模型注册到输入点云来获得稠密点对应。这些方法工作在一个序列的帧，而不是一个单帧，因为最邻近搜索方法的点对应只在小运动的相邻帧之间有效。在单帧点云与模板模型存在较大差异的情况下，建立的对应关系容易出现错误。模型拟合方法首先检测二维关节位置，然后对检测到的关节拟合一个统计模型进行对应。由于模型拟合方法高度依赖关节估计，难以处理遮挡或位姿较大的情况，导致对应误差较大。Wei等人提出深度学习方法将人体三维形状之间的稠密对应问题转化为三维人体多块分割的分类问题，从而直接预测人体三维形状之间的稠密对应问题。然而，由于多个块分割的不一致性，从单一深度图像预测的对应可能是不准确的。

SMPLify首先预测二维人体关节位置，然后将统计SMPL模型拟合到二维关节上，从而从单个彩色图像中估算出完整的三维人体网格。基于深度学习的方法直接从单一颜色图像对参数模型进行回归。Kanazawa等人首先提取彩色图像上的特征，然后通过三维回归网络从特征中推断出人体的SMPL参数。Wei等人在人体深度图像上平滑地训练变化的特征描述子，并通过匹配所学的特征描述子构建稠密对应。LBS自编码器通过学习线性混合蒙皮变形，将关节网格模型与点云匹配，主要针对三维形状完整的点云。基于优化的模型主要处理深度图像序列，因为它们依赖于相邻帧的信息来为每一帧建立对应的点。最近，Wang等人利用时空网格注意力卷积网络，从人体局部点云的输入序列中预测出三维人体模型序列。基于特征描述子的对应估计判别特征描述子是建立可变形形状对应关系的基础。光谱描述符是从Laplace-Beltrami算子的特征值和特征向量派生出来的，因此允许处理任何形状表示，例如网格，点云，或图。几何深度学习方法将深度学习技术推广到非欧氏结构数据，例如图和流形，可以应用于三维形状对应估计。例如，莫奈通过混合模型网络学习非欧氏域上特定任务的特征，混合模型网络将先前提出的测地线卷积神经网络和各向异性卷积神经网络作为其特殊实例。

尽管上述方法在获得稳健的等距形变和非等距形变描述子有很大进步，但在处理局部点云时由于结构不规则和数据缺失，其性能会显著下降。由于缺乏真实的训练数据，部分点云网络的预测模型容易发生不合理的扭曲，与输入形状存在明显的不一致。在3DCODED方法中，最初的预测模型是通过一个额外的优化步骤，通过最小化输入点云和预测模型之间距离来优化。然而，正如在3DCODED 中所述，初始化模型的质量是变形优化的关键，不可靠的初始模型中会导致变形优化失败。

发明内容

本发明的目的在于提出一种基于非刚性点云的稠密对应预测方法。

实现本发明的技术解决方案：一种基于非刚性点云的稠密对应预测方法，包括如下步骤：

利用图卷积神经网络和多个集合抽象层分别提取网格和点云的几何特征并进行拼接；