[发明专利]混合型3D视觉定位方法、装置、计算机设备及存储介质

权利要求书

1.一种混合型3D视觉定位方法，其特征在于，包括：

若接收到待测3D图像，对所述待测3D图像进行实例分割，以获取所述待测3D图像的实例；

通过预设的端到端深度学习空间目标检测网络预测所述实例的6D位姿；

将所述实例的6D位姿作为点云匹配的初始位姿，并通过预设的点云处理算法对所述实例进行定位。

2.根据权利要求1所述的混合型3D视觉定位方法，其特征在于，所述端到端深度学习空间目标检测网络为DenseFusion网络，所述通过预设的端到端深度学习空间目标检测网络预测所述实例的6D位姿，包括：

通过预设的全卷积神经网络提取所述实例的彩色图信息；

通过预设的点云数据深度学习模型提取所述实例的深度图信息；

根据所述实例的彩色图信息以及深度图信息预测所述实例的待调整6D位姿；

通过预设的全连接网络，对所述实例的待调整6D位姿进行微调以得到所述实例的6D位姿。

3.根据权利要求2所述的混合型3D视觉定位方法，其特征在于，所述对所述待测3D图像进行实例分割，包括：

通过预设的端到端深度学习实例分割算法对所述待测3D图像进行实例分割。

4.根据权利要求2所述的混合型3D视觉定位方法，其特征在于，所述通过预设的端到端深度学习空间目标检测网络预测所述实例的6D位姿之前，所述方法还包括：

对所述DenseFusion网络进行训练。

5.根据权利要求1所述的混合型3D视觉定位方法，其特征在于，所述将所述实例的6D位姿作为点云匹配的初始位姿，并通过预设的点云处理算法对所述实例进行定位之前，所述方法还包括：

将所述实例所在的区域从所述3D图像中裁剪出来，并合成点云。

6.根据权利要求3所述的混合型3D视觉定位方法，其特征在于，所述点云数据深度学习模型为PointNet或者PointNet++，所述点云处理算法为点云匹配算法，所述端到端深度学习实例分割算法为YOLACT算法。

7.根据权利要求6所述的混合型3D视觉定位方法，其特征在于，所述通过预设的端到端深度学习实例分割算法对所述待测3D图像进行实例分割之前，所述方法还包括：

对所述YOLACT算法进行训练。

8.一种混合型3D视觉定位装置，其特征在于，包括：

分割单元，若接收到待测3D图像，对所述待测3D图像进行实例分割，以获取所述待测3D图像的实例；

初始定位单元，通过预设的端到端深度学习空间目标检测网络预测所述实例的6D位姿；

精度定位单元，将所述实例的6D位姿作为点云匹配的初始位姿，并通过预设的点云处理算法对所述实例进行定位。

9.一种计算机设备，其特征在于，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-7中任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序当被处理器执行时可实现如权利要求1-7中任一项所述的方法。