[发明专利]一种基于激光雷达和相机融合的垃圾桶检测抓取方法

说明书

本发明涉及一种基于激光雷达和相机融合的垃圾桶检测抓取方法，基于垃圾转运车上的新增设备，通过云台上承载的激光测距雷达与第一图像捕获装置，通过网络训练下的图像特征识别分类方式，实现对垃圾桶的粗定位，并据此移动机械臂前端至垃圾桶预设范围内，然后通过所设机械臂前端上的第二图像捕获装置，伴随机械臂前端向着垃圾桶上把手方向的移动，以图片分析方法实时针对把手实现精定位，始终将把手置于所捕获图像的中心位置，直至机械臂前端上的抓手抓住垃圾桶上的把手，整个方法根据动作发生依次应用不同定位方式，实现最终针对把手的自动识别与抓握，整个过程实现了无人化，且效率高。

技术领域

本发明涉及一种基于激光雷达和相机融合的垃圾桶检测抓取方法，属于计算机视觉、人工智能和自动化技术领域。

背景技术

垃圾桶作为目前主要的收集和存贮垃圾的容器，对其的收集基本由垃圾车完成，具体包括通过人工倾倒和通过挂桶式垃圾车倾倒两种方式。挂桶垃圾车虽然能够自动将垃圾桶内垃圾倒入车体内，但是仍然需要人工将垃圾桶放置到车体侧的固定位置，与人工倾倒的方式相比，虽然避免了倾倒过程中的接触，但是却没有避免搬运过程中的接触，仍然存在一定的人工成本和安全隐患。

发明内容

本发明所要解决的技术问题是提供一种基于激光雷达和相机融合的垃圾桶检测抓取方法，以计算机视觉、传感器数据融合、深度学习等技术为基础，实现对垃圾桶上把手的自动检测、定位与抓取。

本发明为了解决上述技术问题采用以下技术方案：本发明设计了一种基于激光雷达和相机融合的垃圾桶检测抓取方法，基于垃圾转运车上所设云台上承载的激光测距雷达与第一图像捕获装置，结合垃圾转运车上所设机械臂前端上的第二图像捕获装置，在垃圾转运车停在其机械臂可触及垃圾桶的范围内时，按如下步骤A至步骤D，实现机械臂前端上的抓手对垃圾桶上把手的抓持；

其中，云台上激光测距雷达与第一图像捕获装置的设置姿态彼此固定，且激光测距雷达的工作端指向与第一图像捕获装置的图像捕获端指向彼此相同；第二图像捕获装置的图像捕获端指向与机械臂前端上抓手的指向彼此相同，且抓手位于第二图像捕获装置所捕获图像的中心位置；垃圾桶上把手的颜色区别于垃圾桶上其它区域的颜色；

步骤A.基于云台工作带动激光测距雷达与第一图像捕获装置执行水平旋转、以及俯仰角变化，实时针对第一图像捕获装置所捕获图像执行垃圾桶识别方法，识别获得垃圾桶图像区域，并控制云台工作使得垃圾桶图像区域位于所捕获图像的中心位置、以及垃圾桶图像区域位于激光测距雷达的测距平面内，然后停止云台工作、并保持云台姿态，再进入步骤B；

步骤B.根据云台姿态，以及激光测距雷达对垃圾桶的测距，获得垃圾桶相对云台位置的方向与距离，并结合垃圾转运车上云台位置相对机械臂所设位置的方向与距离，获得垃圾桶相对机械臂所设位置的方向与距离，然后进入步骤C；

步骤C.根据垃圾桶相对机械臂所设位置的方向与距离，控制机械臂的前端向着垃圾桶方向进行移动，直至机械臂的前端移动至以垃圾桶为球心、预设半径范围内位置时，控制机械臂的前端停止移动，并进入步骤D；

步骤D.基于针对机械臂前端上第二图像捕获装置实时所捕获图像中垃圾桶上把手的识别，结合控制把手图像区域位于所捕获图像的中心位置，控制机械臂前端向着垃圾桶上把手的方向移动，实现机械臂前端上抓手对垃圾桶上把手的抓持。

作为本发明的一种优选技术方案：所述步骤A中，实时针对第一图像捕获装置所捕获图像，按如下步骤A1至步骤A3，执行垃圾桶识别方法，识别获得垃圾桶图像区域；

步骤A1.针对所获捕获图像执行网格划分，获得所获捕获图像所对应各个预设尺寸的网格图像，然后进入步骤A2；

步骤A2.应用以网格图像为输入，网格图像对应其是否包含垃圾桶图像的分类为输出的垃圾桶图像识别模型，分别针对各个网格图像进行处理，获得其中属于垃圾桶图像分类的各个网格图像，分别作为各个目标网格图像，然后进入步骤A3；