[发明专利]一种使用RGBD相机跟踪柔性物体形变的方法及系统

说明书

本发明涉及一种使用RGBD相机跟踪柔性物体形变的方法及系统，其方法包括：步骤S1：基于Grab Cut分割目标物体，获取其深度信息，转换为点云；S2：对目标物体初步三维重建，构建目标物体的几何模型和物理模型；S3：预处理目标点云，进行尺度和空间位置的统一，刚性配准目标点云和几何模型，在目标点云和几何模型的表面顶点集合之间构建对应点关系；根据该关系给物理模型施加外部弹性约束，迭代求解物理模型形变；S4：将形变后的物理模型反向投影到图片序列。本发明提供的方法使用目标点云驱动物理模型形变，使得形变结果更接近于真实环境；设置外部弹性约束，通过迭代更新物理模型的形变，使其形变结果受参数影响更小，更稳定。

技术领域

本发明涉及增强/混合现实领域，具体涉及一种使用RGBD相机跟踪柔性物体形变的方法及系统。

背景技术

随着AR/MR技术的迅速发展，其在多种行业中的应用程度日益加深。跟踪柔性物体形变在AR/MR领域中是一个重要问题，在机器人控制、人机交互、辅助医疗、真实感增强等方面都具有可观的应用空间。然而，由于外在条件的限制，柔性物体形变的跟踪技术很少被应用于实际场景。首先，在实际应用场景中，一般只能观测到目标物体的局部表面信息，由于形变信息的不完整且仅限于表面，这给后续的工作带去潜在的误差。其次，仅限于计算机图像的形变探测方式不足以在目标物体表面光滑、纹理稀疏的场景下获取精确的形变信息，RGBD相机的使用在一定程度上解决了此种场景下形变信息获取的问题。以及难以根据部分表面形变信息精确地推断目标物体整体形变的问题阻碍了柔性物体形变跟踪技术的实际应用。

目前，跟踪柔性物体形变的技术关注点在于形变信息的获取和目标物体整体形变的推断。形变信息的获取方式和实际应用场景密切相关，主要有：双目摄像头提取特征点重建可见区域表面结构、RGBD相机直接获取可见区域表面结构、单目摄像头基于深度学习估计可见区域深度数据。目标物体整体形变的推断主要可分为两类：(1)基于几何的形变推断算法，即在根据目标点云推断目标物体整体形变时，仅从几何角度入手，不考虑目标物体的物理特性。如通过CPD(Coherent Point Drift)的方式非刚性配准目标点云和目标物体的几何模型，仅考虑几何模型表面上点的位移，对于内部空间内的位移则直接通过表面顶点的位移映射得到。(2)基于物理的形变推断算法，即依靠基于目标物体的物理特性设计的物理模型预测形变，常使用的物理模型包括：质点弹簧模型(Mass Spring Model)、有限元方法(Finite Element Method)。其中有限元方法以仿真精度著称，在形变推断的精度上表现相对优秀，但受外部约束的影响较大，难以找到一个较为合适的外部约束施加方式，从而得到可接受的推断结果。

发明内容

为了解决上述技术问题，本发明提供一种使用RGBD相机跟踪柔性物体形变的方法及系统。

本发明技术解决方案为：一种使用RGBD相机跟踪柔性物体形变的方法，包括：

步骤S1：基于Grab Cut从RGBD相机输出的图片序列中根据RGB值分割出目标物体，获取其对应的深度数据，并转换为目标点云，其中，所述图片序列包括：RGB图片和深度图片；

步骤S2：基于Kinect Fusion利用所述目标点云对所述目标物体进行三维重建，通过3D建模软件半自动或手动对其进一步调整，构建所述目标物体的几何模型；根据所述几何模型，并基于本构模型和解算器，构建所述目标物体的物理模型；

步骤S3：对所述目标点云执行空间均匀降采样和降噪操作；对所述目标点云和所述几何模型表面上顶点集合进行尺度和空间位置的统一；利用SAC-IA和NICP刚性配准所述目标点云和所述几何模型；利用最近点关系在所述目标点云和所述几何模型的表面顶点集合之间构建点对应关系；根据所述点对应关系给所述物理模型施加外部弹性约束，计算在当前所述外部弹性约束下的整体平衡状态，并迭代此过程以使得所述物理模型形变至理想状态，得到形变后的物理模型；

步骤S4：根据所述RGBD相机的内参和经过刚性配准得到的变换矩阵，将所述形变后的物理模型反向投影至所述图片序列。