[发明专利]融合点云信息的深度学习实例分割方法、装置及设备

说明书

本发明公开了一种融合点云信息的深度学习实例分割方法、装置及计算机设备，方法包括以下步骤：采用3D相机得到实例对象图像和对应的点云数据；利用改进的深度学习识别框架对实例对象图像进行实例分割；对点云数据进行预处理得到有效点云；将实例分割的对象与有效点云进行信息融合，得到修正后实例分割对象；将修正后实例分割对象对外输出应用到项目中。本发明能够为识别系统提供图像数据和测量数据，且可以直接与拆码垛系统等项目实施中负责完成整个工作流程的应用系统匹配，系统集成度较高、方便部署；将点云信息融合到实例分割中，融合方式灵活，避免了仅使用一种识别方式可能存在的风险和不确定性。

技术领域

本发明涉及一种融合点云信息的深度学习实例分割方法、装置及计算机设备，属于图像处理技术领域。

背景技术

在以视觉引导为基础的项目中，基于图像的深度学习实例分割是一种非常有效的技术方案。常用的实例分割方法有SDS、CFM、FCIS、Mask R-CNN等，因其较高的准确率，应用场景也日渐广泛。在工业项目中，对分割的准确率和精确度要求更高，如果只依赖深度学习识别结果，则会给工业应用带来较大风险和不可控因素。

另一方面，近几年随着电子技术的发展，3D相机的三维点云在成像质量、速度、精度等方面有了很大提高，真正实现了由实验室走向工业应用。同时，点云处理算法在近几年也成为各科研院所的研究热点，具备了完备的开发和实验环境，甚至基于3D点云的深度学习算法也已被提出多年。

尽管目前已有成熟的深度学习识别框架和先进的3D设备，但针对实际项目中对识别准确率要求高的特点，对系统性能提出了更高的要求。大量的新技术并未实际应用到项目中，还处在理论或者实验室阶段，对工业或者商业项目的实施也只是作为参考。因此，深度学习在实例分割上还存在识别风险、3D点云深度学习技术应用不成熟、单一识别方式不够准确等问题。

发明内容

为了解决上述问题，本发明提出了一种融合点云信息的深度学习实例分割方法、装置及计算机设备，能够避免仅使用一种识别方式可能存在的风险和不确定性。

本发明解决其技术问题采取的技术方案是：

第一方面，本发明实施例提供的一种融合点云信息的深度学习实例分割方法，包括以下步骤：

采用3D相机得到实例对象图像和对应的点云数据；

利用改进的深度学习识别框架对实例对象图像进行实例分割；

对点云数据进行预处理得到有效点云；

将实例分割的对象与有效点云进行信息融合，得到修正后实例分割对象；

将修正后实例分割对象对外输出应用到项目中。

作为本实施例一种可能的实现方式，采用3D相机得到图像和对应的点云数据，包括：

采用3D相机拍摄实例对象的图像数据，采用其测量设备获取3D相机到物体的距离——即点云数据，然后将这两种数据对齐，即取图像上的一点在点云数据中查到唯一对应的深度。

作为本实施例一种可能的实现方式，所述改进的深度学习识别框架是在原有通用深度学习识别框架基础上，针对项目内容，设定适合项目的一定数量和尺寸的锚框。改进后的深度学习识别框架的识别结果为物体的最小外包络矩形框，便于对目标物体的尺寸测量、定位等应用。

作为本实施例一种可能的实现方式，对点云数据进行预处理得到有效点云，包括：

对点云数据进行滤波、空间选取、平滑或稀疏处理，得到有效点云。使点云数据能够更清晰地反映出对象特征，减少噪声和不相关点云的干扰。

作为本实施例一种可能的实现方式，将实例分割的对象与有效点云进行信息融合，包括：