[发明专利]混合型3D视觉定位方法、装置、计算机设备及存储介质

说明书

本发明实施例公开了一种混合型3D视觉定位方法、装置、计算机设备及存储介质。所述方法包括：若接收到待测3D图像，对所述待测3D图像进行实例分割，以获取所述待测3D图像的实例；通过预设的端到端深度学习空间目标检测网络预测所述实例的6D位姿；将所述实例的6D位姿作为点云匹配的初始位姿，并通过预设的点云处理算法对所述实例进行定位。通过将所述实例的6D位姿作为点云匹配的初始位姿，并通过预设的点云处理算法对所述实例进行定位，从而能够极大地提高定位精度，满足实际生产中的高精度定位要求，提高产品的良率。

技术领域

本发明涉及视觉定位技术领域，尤其涉及一种混合型3D视觉定位方法、装置、计算机设备及存储介质。

背景技术

机器视觉是当前工业领域一项重要的革新技术。提高工业生产的无人化和自动化是一项非常有价值的任务，尤其是对于不适合人工作业的危险或者对健康有害的工业制造业场景中(比如焊接)。在常规有人作业中，人会通过基本感知特别是视觉方面的感知来根据实际作业特点和工件差异进行作业的灵活调整。对于缺乏视觉指引的机器臂或者自动化设备，无法有效应对实际作业中各种复杂的状况，会导致大量的不良品产生。因此，在大批量重复性程度高的生产过程中，用机器视觉来引导机器设备可以大大提高生产的效率、准确度和自动化程度，降低不良产品率。

机器视觉在工业应用中，基于机器臂的抓取一个重要方向，主要包括上下料，分拣，装配等。机械臂要成功抓取，需要同时识别出目标的三维空间位置及姿态共计6维姿态信息。传统的2D识别方法难以获取目标的空间及姿态信息，因此无法有效指引机器臂进行作业，这时候采用3d设备进行引导作业变的尤为关键。常见的成熟3D成像技术有双目，结构光DLP，TOF，线扫激光等。这些视觉技术会对目标区域进行3维重构生成相应的点云图或者深度图。如何利用这些空间数据，从中找到目标物体并提取关键位姿信息是实现正确作业引导的关键。

目前，基于3D相机拍摄到的点云信息或RGBD图进行物体6D姿态识别已有很多成功方法，例如机器学习法、模版匹配法、点对特征法、3D局部特征法以及端到端深度学习方法等。以上方法的预测结果总会有2-5像素级别的偏差，对应到实际现场可能误差会有0.5-1mm，这对于焊接等要求精准的场景来说会带来降低良品率的风险。

发明内容

本发明实施例提供了一种混合型3D视觉定位方法、装置、计算机设备及存储介质，旨在解决现有3D视觉定位误差大的问题。

第一方面，本发明实施例提供了一种混合型3D视觉定位方法，其包括：

若接收到待测3D图像，对所述待测3D图像进行实例分割，以获取所述待测3D图像的实例；

通过预设的端到端深度学习空间目标检测网络预测所述实例的6D位姿；

将所述实例的6D位姿作为点云匹配的初始位姿，并通过预设的点云处理算法对所述实例进行定位。

第二方面，本发明实施例还提供了一种混合型3D视觉定位装置，其包括用于执行上述方法的单元。

第三方面，本发明实施例还提供了一种计算机设备，其包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序当被处理器执行时可实现上述方法。

本发明实施例的技术方案，通过将所述实例的6D位姿作为点云匹配的初始位姿，并通过预设的点云处理算法对所述实例进行定位，从而能够极大地提高定位精度，满足实际生产中的高精度定位要求，提高产品的良率。

附图说明