[发明专利]一种面向机器人智能抓取应用的视觉识别与定位方法

说明书

本发明涉及一种面向机器人智能抓取应用的视觉识别与定位方法，通过采集RGB‑D场景图像，利用监督训练后的深度卷积神经网络识别彩色图像中包含目标的类别及其对应位置区域，结合深度图像分析目标位姿状态，通过坐标变换得到控制器所需位姿信息，完成视觉识别与定位。该方法仅通过单一视觉传感器即实现识别与定位双功能，简化了现有的目标检测过程，节约了应用成本。同时，采用深度卷积神经网络通过学习得到图像特征，对目标随意摆放、图像视角变化、光照背景干扰等多重环境干扰具有较强的鲁棒性，提高了复杂工况下的识别与定位准确率。此外，该定位方法在确定物体空间位置分布的基础上能更进一步得到确切的姿态信息，有利于智能抓取的策略规划。

【技术领域】

本发明属于智能机器人领域，具体涉及一种面向机器人智能抓取应用的视觉识别与定位方法。

【背景技术】

在智能化物流仓储系统中，具有智能抓取能力的移动作业机器人是实现高效无人运作的重要载体。机器人根据订单需求，在仓库中自主导航，抓取货架上的目标商品，实现无人化物料分拣。在商品抓取过程中，机器人的视觉系统对目标商品的正确识别和精确定位是抓取成功的先决条件，及时为机器人的运动控制提供精确的视觉感知信号才能保证抓取任务的成功完成。

机器人抓取的视觉识别方案多采用人工特征描述配合分类器分类的方式进行。其中人工设计的特征对于商品随意摆放、图像视角变化、光照变化、背景干扰等情况下的检测没有很好的鲁棒性，很大程度上影响实际检测效果。

视觉定位方面，现有技术中的一种方法是在待抓取商品上布置商品信息标签，标签包含待抓取商品的尺寸信息以及标签在商品上的位置信息，利用图像获取静止状态下的待抓取商品图像，通过识别和定位信息标签进而得出商品抓取方法。该方法在每个产品上设置标签，需要额外人工参与，智能化程度不高。

现有技术中的另一种方法是通过采集RGB-D图像，基于深度学习进行候选区域划分，经过白化处理后输入训练好的神经网络获取抓取位置。该方法在区域划分时每张图片要产生数千个候选区域，将每个候选区域输入卷积神经网络进行检测，计算量大，检测速度慢，不适用于实时性能要求较高的领域。且该方式仅能获取到目标物的抓取候选区域，无法确定目标的三维姿态，因此对于随意放置的目标物难以根据其不同位姿规划出最佳抓取方式。

总之，现有机器人视觉抓取技术中，识别与定位在检测过程中常分为两个步骤进行，整体上智能化程度不高，鲁棒性能不佳，且多因检测精度与速度相互制衡，难以达到应用标准。同时，这些检测方法多用于物品规则放置、采用单一抓取策略的条件，对于随意摆放的商品，其姿态信息没有得到很好的检测，不利于抓取方式规划及抓取成功率的提高。

【发明内容】

为了解决现有技术中的上述问题，本发明提供了一种面向机器人智能抓取应用的视觉识别与定位方法，过程上将识别与定位步骤合二为一，简化检测过程；功能上增加姿态检测，适用于随意摆放的商品抓取策略规划；性能上既适应随意摆放、图像视角变化、光照背景干扰等扰动因素，又能有较优的实时性能，提高商品识别与抓取成功的概率。

本发明采用的技术方案如下：

一种面向机器人智能抓取应用的视觉识别与定位方法，包括以下步骤：

(1)图像采集步骤：通过安装在机械臂本体末端的视觉传感器采集待识别货架区域的RGB-D场景图像，所述RGB-D场景图像由彩色(RGB)图像和深度(Depth)图像组成；

(2)多目标识别与区域检测步骤：采用深度卷积神经网络对彩色图像进行检测，同时得出图像中包含哪些目标对象及其相应位置区域；

(3)点云分割步骤：借助视觉传感器内部参数，与深度图像转换成场景三维点云，提取点云中步骤(2)检测出的各对象对应位置区域；利用聚类算法进行进一步分割点云，得到目标对象的点云模型；然后利用RanSaC检测方法，分割出点云模型中代表性几何特征点集；