[发明专利]一种基于实例分割网络和迭代优化的6D位姿估计方法

说明书

本发明涉及一种基于实例分割网络和迭代优化的6D位姿估计方法，包括以下步骤：1)将深度图像转换成HHA特征图和场景点云；2)将HHA特征图和彩色图像输入到增加空间变换网络后的实例分割网络中，进行任意位姿物体的实例分割获得物体种类识别结果以及掩膜分割结果；3)根据实例分割的结果，在场景点云上分割出目标点云；4)根据改进的4PCS算法和ICP算法将分割出的目标点云和目标CAD模型的模型点云进行匹配和位姿精修，从而得到精确的位姿估计结果。与现有技术相比，本发明具有准确识别、多种类物体识别、检测性能高、位姿匹配精度高等优点。

技术领域

本发明涉及机器人的环境感知技术领域，尤其是涉及一种基于实例分割网络和迭代优化的6D位姿估计方法。

背景技术

机器人的环境感知技术是机器人研究领域的重要科学问题，近年来随着计算机视觉和深度学习技术的发展，基于视觉的环境感知成为学术界和工业界关注的热点。机器人通过视觉信息的输入实现对所处环境、操作对象的感知，包括识别与状态估计等，进而实现交互并完成任务。其中，3D视觉技术的引入，使机器人能够获得更加丰富的信息，对于机器人环境感知问题的解决具有重要的推动作用。

本发明着眼于利用3D视觉技术和深度学习技术，实现对目标物体的位姿进行准确的估计，以便于实现机器人的抓取放置以及灵巧操作等任务，其应用领域可以是生活服务领域和工业生产领域等，相关研究主要有针对生活中的物体的姿态估计、工业生产线上的工件、零件的姿态估计等内容。

目前针对物体的姿态估计主要可以分为针对日常生活场景中的物体姿态估计和工业应用场景中的物体姿态估计。从现有的针对物体的姿态估计的专利来看，现有专利对目标物体的感知主要局限于二维层面，没有针对3D姿态估计的相关专利；针对工业场景中的目标物体的姿态估计，现存的专利应用场景都比较简单，往往无法适应复杂的工业应用场景，针对不同类型工件的鲁棒性和适应性不强。具体而言，现有技术主要有以下几个方面的局限：：

从应用场景上看，在现有基于视觉传感器的工业工件位姿估计方案中，有相当一部分的研究场景限定于传送带传送或平面工作台的场景，使用CCD摄像头，采集正对目标工件的平面图片，使用传统的图像处理与识别技术，例如灰度变换、图像二值化、边缘检测、模板匹配等，而且对盛放工件的平台背景颜色具有较高的要求，要求背景单一等等，从而识别出待测工件的简单轮廓，使用外接矩形的方法来对工件进行定位与进行工件平面旋转角度的判断。此类方案的工业应用前景有限，在背景杂乱或者工件堆叠的情况下，通过边缘检测、模板检测的传统的图像处理方案，是很难将视野中的工件识别的；与此同时，边缘检测等算法中存在一些需要人工调节的参数，对于不同的抓取对象即不同形状、不同尺寸、甚至是多种类型工件混杂的情况往往难以适应。

从姿态估计算法上看，现有的专利仍然局限传统的人工设计特征、提取特征的方法，进而将实际场景中的物体提取到的特征与模型或模板的特征做匹配。人工特征提取与模板匹配的方案一方面时间效率比较低，模板匹配过程中的搜索算法需要消耗大量的计算资源，另一方面，传统的特征提取策略要求待检测目标具有可区分的纹理特征，而这一点在工业领域的应用中往往难以满足，工业领域中的工件大多是少纹理特性的，传统的特征提取方法无法适应这一要求，当面对多种不同类型、不同形状的工业工件时，传统的方案同样是无法适应的。

综上所述，传统的解决方案或仅能得到工件的二维平面姿态，或是算法的准确性和鲁棒性不强，无法适应复杂的生活和生产应用场景，无法保证对各种形状、各种类型的物体都能准确识别和解算位姿，无法满足复杂的生活服务和工业生产要求。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于实例分割网络和迭代优化的6D位姿估计方法。

本发明的目的可以通过以下技术方案来实现：

一种基于实例分割网络和迭代优化的6D位姿估计方法，包括以下步骤：

1)将深度图像转换成HHA特征图和场景点云；