[发明专利]机械臂抓取物体三维点云模型孔洞修复及规则体拟合方法

说明书

本发明涉及一种机械臂抓取物体三维点云模型孔洞修复及规则体拟合方法，包括以下步骤：(1)对机械臂抓取物体三维点云模型存在的孔洞进行检测，获得边界线；(2)针对步骤(1)获得的边界线基于工程先验信息进行分割，修复边界线，获得简单、闭合的孔边界；(3)针对步骤(2)获得的孔边界，利用孔洞修复和点云补全方法结合物体形状信息填补孔洞，获得完整点云模型；(4)针对步骤(3)获得的完整点云模型，结合点云形状校正位姿，绘制最小包围盒，完成规则体拟合。本发明采用的方法原理简洁，思路明确，点云孔洞修复、规则体拟合效果好，可达到对机械臂抓取物体三维点云模型孔洞修复及规则体拟合的目的。

技术领域

本发明涉及一种机械臂抓取物体三维点云模型孔洞修复及规则体拟合方法，适用于三维点云模型修复及应用领域。

背景技术

三维点云由三维空间中的一组点组成，除含有位置信息外，有时具有诸如法线、颜色等属性，常用于表示三维对象和场景的几何形状。获取点云的方法有很多，例如可以通过激光扫描仪或光学扫描仪扫描得到，也可通过图像三维重建获得。由于三维扫描技术和建模技术的发展，三维点云在增强现实，移动制图，游戏，3D远程呈现，历史文物扫描和3D打印中很受欢迎。由于采集技术和采集视角的局限性，点云模型往往会出现各种孔洞，被扫描物体结构的复杂性或结构缺陷也会造成点云的孔洞。孔洞的出现会降低点云模型的质量，影响后续三维重建工作。因此，修复点云孔洞成为一个重要课题。

对于机械臂抓取物体的三维点云模型，其孔洞产生的原因主要为机械爪的遮挡以及重建时的视角限制。其中机械爪的遮挡会导致重建过程中机械爪与物体一同建模，在去除机械爪后会在物体模型侧面生成数个形状规则、尺寸中等的孔洞；重建时的视角限制会导致物体底部无法成像，从而使物体模型的底部出现大面积缺失。其中底部的缺失面也可视为面积较大的孔洞，但是在处理方法上应与机械爪留下的孔洞有所不同。孔洞的出现会降低点云模型的质量，对后续规则体拟合以及其他模型处理工作带来影响，因此机械臂抓取物体三维点云模型的孔洞修复工作必不可少。

目前三维点云模型孔洞修复技术已经取得了系列进展，主要分为基于网格模型的方法、直接基于点云的方法、基于深度学习的点云补全方法等。然而针对机械臂抓取物体三维点云模型的方法很少，目前的研究难点主要表现在以下几个方面：1)孔洞类型多样、面积大；2)点云模型稀疏、杂乱、质量差；3)现有的基于网格模型的方法，其三角剖分绘制网格的过程时间复杂度高、对点云模型质量要求高，且该类方法无法处理大面积的缺失，不适用于本课题下的机械臂抓取物体三维点云模型；4)现有的基于深度学习的点云补全方法，其训练过程需要大量数据支撑，而现有点云数据库较少，针对机械臂抓取物体的三维点云数据库因其特殊性更是难以获取，且现有点云模型噪声多、杂乱、质量差，因此不适用于机械臂抓取物体三维点云模型的孔洞修复。

三维点云模型的规则体拟合工作有助于简化模型，减少三维重建的误差影响，提取模型关键信息如质心、尺寸等，从而提高后续物体的运动、姿态控制的精确性。用规则体来代替物体本身进行计算，也会比直接用物体本身更加高效和简单。结合项目中抓取的物体形状多为长方体，且长方体包围盒相比于球体、圆柱体等在形状简单的同时能更好的反映物体的尺寸信息，所以采用绘制长方体包围盒的形式进行三维点云模型的规则体拟合。

目前广泛应用的是AABB包围盒和OBB包围盒，其中AABB包围盒生成简单，通过寻找空间坐标下最大最小值生成，但是其始终与坐标轴平行，不随物体旋转，无法准确贴合物体；OBB包围盒根据物体表面点，通过PCA主成分分析获得主轴，从而可随物体旋转，但是由于机械臂抓取物体三维点云模型杂乱、密度不均，会导致主轴偏移，从而导致包围盒出现较大误差。因此需针对模型本身的特点有新的包围盒计算方法。

发明内容

本发明所要解决的的技术问题是：克服现有技术不足，针对机械臂抓取物体三维点云模型，结合孔洞的产生原因及独特性和工程实际的先验信息，提供孔洞修复和规则体拟合算法，改善模型质量，给出精确的规则体拟合结果。

本发明的技术方案为：一种机械臂抓取物体三维点云模型孔洞修复及规则体拟合方法，包括以下步骤：