[发明专利]自动定位物流托盘的方法及装置

说明书

本公开实施例涉及计算机视觉技术，提供一种自动定位物流托盘的方法及装置，其中，方法包括：图像采集步骤，进行双目RGB图像采集，得到待处理图像，待处理图像中包括托盘图像；关键点定位步骤，基于关键点定位网络对托盘图像进行关键点定位，得到多个托盘孔洞关键点；关键点坐标计算步骤，基于托盘孔洞关键点进行计算，得到托盘孔洞关键点的三维坐标；托盘位姿确定步骤，基于托盘孔洞关键点的三维坐标进行托盘位姿计算，得到托盘的三维位姿。本实施例提高了叉取物流托盘的准确性。

技术领域

本发明涉及计算机视觉技术，尤其涉及一种自动定位物流托盘的方法及装置。

背景技术

近年来，随着计算机网络技术的迅猛发展，物流行业也随之逐渐壮大，物流仓库中，货物会摆放在各种规格的物流托盘上，司机通过叉车对托盘进行叉取，从而对货物进行运输传送。这种人工运输的方式效率较低。相关技术中，通过手动定义一些识别规则采用相机对托盘进行定位识别，但是对环境变化、托盘摆放的要求较高，鲁棒性不足。

发明内容

为了解决现有技术中存在的上述问题，本发明提供一种自动定位物流托盘的方案。

根据本发明实施例的其中一方面，提供一种自动定位物流托盘的方法，方法包括：图像采集步骤，进行双目RGB图像采集，得到待处理图像，待处理图像中包括托盘图像；关键点定位步骤，基于关键点定位网络对托盘图像进行关键点定位，得到多个托盘孔洞关键点的像素点坐标；关键点坐标计算步骤，基于托盘孔洞关键点的像素点坐标进行计算，得到托盘孔洞关键点的三维坐标；托盘位姿确定步骤，基于托盘孔洞关键点的三维坐标进行托盘位姿计算，得到托盘的三维位姿。

在一例中，托盘孔洞关键点包括托盘孔洞图像的角点。

在一例中，方法还包括：托盘检测步骤，基于托盘检测网络检测待处理图像中的托盘图像，得到托盘检测框；关键点定位步骤，包括：基于关键点定位网络对托盘检测框内的托盘图像进行关键点定位，得到多个托盘孔洞关键点。

在一例中，待处理图像包括第一目图像采集设备采集的第一图像，以及第二目图像采集设备采集的第二图像；关键点坐标计算步骤还包括：关键点深度计算步骤，对第一图像、第二图像的视差图采用预设算法进行计算，得到托盘孔洞关键点的深度；基于托盘孔洞关键点的深度、托盘孔洞关键点的像素点坐标计算得到托盘孔洞关键点的三维坐标。

在一例中，关键点坐标计算步骤，包括：第一光心直线方程获取步骤，基于托盘孔洞关键点分别与第一目光心、第二目光心的连线所在的直线，以及第一目预设坐标系、第二目预设坐标系，获得第一光心直线方程；第二光心直线方程获取步骤，基于第一光心直线方程，以及第一目预设坐标系与第二目预设坐标系之间的旋转矩阵与平移矩阵，获取第二光心直线方程；基于第一光心直线方程与第二光心直线方程，获取托盘孔洞关键点的三维坐标。

在一例中，第一目图像采集设备、第二目图像采集设备平行放置且成像平面共面，第一目图像采集设备对应的第一坐标系与第二目图像采集设备对应的第二坐标系中存在共线坐标轴，且第一目图像采集设备、第二目图像采集设备的光心之间设置预设间距；关键点坐标计算步骤，包括：基于预设间距与第一目图像采集设备、第二目图像采集设备的焦距，以及第一图像和第二图像中托盘孔洞关键点像素点坐标，获取托盘孔洞关键点的三维坐标。

在一例中，托盘位姿确定步骤，包括：叉车位姿获取步骤，基于第一目预设坐标系、第二目预设坐标系进行计算，获取叉车位姿；基于叉车位姿，获取托盘的三维位姿。

在一例中，方法还包括：待处理图像裁剪步骤，基于托盘检测框对待处理图像进行裁剪，得到裁剪后的待处理图像；关键点定位步骤，基于关键点定位网络对裁剪后的待处理图像进行关键点定位，得到多个托盘孔洞关键点。

在一例中，托盘位姿确定步骤，包括：叉车位姿获取步骤，基于第一目预设坐标系、第二目预设坐标系进行计算，获取叉车位姿；基于叉车位姿，获取托盘的三维位姿。