[发明专利]一种苹果套袋机器人视觉定位方法

摘要

本发明涉及一种机器人的视觉定位方法，更具体地，涉及基于机器视觉的苹果套袋机器人视觉定位系统及方法。该方法可以对苹果幼果进行准确的图像处理与分析，通过算法快速的对苹果幼果进行准确定位，确定幼果的精确位置，引导机械臂完成套袋工作。本发明的方法组成有硬件和软件两个部分，其中的硬件包括图像采集装置、存储装置、处理器、控制器；软件部分包括图像处理程序与定位程序。本发明的方法是由ROI提取、灰度化、图像增强、图像分割、相机标定、图像极线校正、图像的特征提取和匹配以及图像的三维重建来实现的。

主权项

1.一种苹果套袋机器人视觉定位方法，采用本方法完成苹果套袋视觉定位，包括硬件和软件两部分；硬件部分包括苹果幼果图像采集装置、存储装置、处理器和控制器；苹果幼果图像采集装置为工业CCD双目摄像机，装设在苹果套袋机器人的设定位置上；软件部分包括图像处理程序和定位程序，图像处理程序包括ROI提取，灰度化，图像增强和图像分割；定位程序包括摄像机标定，极线校正，特征提取与匹配和三维重建；图像处理程序用于将从存储装置中读取的图像进行预处理，定位程序用来对预处理后的图像提取目标并进行精确定位；其特征在于苹果套袋机器人视觉定位包括下述步骤：1）用工业CCD双目摄像机对苹果树及苹果幼果进行采集，得到整体图像后，将左目和右目采集到的图像分别存储在存储装置中，并从存储装置中读取出这两幅图像；2）对读取的左目和右目两幅图像分别进行预处理，提取出感兴趣的部分ROI，判断图像中是否有苹果幼果，如果没有就调整摄像头的位置，返回步骤1），如果有则将其分割提取出来后进入步骤3）；3）对相机进行标定后对目标体匹配，以及去除误匹配，匹配成功，则进入步骤4），否则进入2）；4）对匹配好的目标体进行三维重建，最后确定目标体在图像中的位置以及获取准确的三维坐标；5）将获取的位置与坐标信息传输给处理器，处理器再将处理后的数据传输给机械臂控制系统，并求取运动学逆解，从而引导机械臂完成套袋动作；进一步，所述步骤2）具体包括如下几个步骤：21）对图像进行预处理并提取出ROI；22）判断是否有苹果幼果并分割；进一步，所述步骤3）具体包括如下几个步骤：31）对双目摄像机进行标定；32）对两幅图像进行极线校正；33）特征提取与匹配；进一步，所述步骤4）具体包括如下：41）对目标体进行三维重建； 42）获取目标体位置与三维坐标；进一步，所述步骤21）具体包括如下几个步骤：211）对图像进行灰度处理；212）对图像进行增强处理；213）对图像进行二值化处理；214）对图像进行形态学运算；进一步，所述步骤22）具体为：判断是否有苹果幼果是基于圆形度概念进行的，所谓的圆形度就是用于特征的提取与描述，其计算公式的描述为：其中代表的是圆形度，代表面积，代表周长；当的数值为1的时候，代表的是圆，开始的时候设置一个阈值，由于苹果为近似圆形的，而树叶及树干不是圆形的，所以，设置的阈值，当连通的区域的圆形度小于设定的阈值，则认定为是背景，设定为白色；当连通的区域的圆形度大于设定的阈值，则认定为是前景，也就是感兴趣的部分，即苹果幼果果实，设定为黑色，这样，感兴趣的区域就从图像中分离出来，完成了图像分割过程；进一步，所述步骤31）具体为：摄像机进行标定采用的方法是Tsai两步标定方法，该算法分为两步进行：第一步：基于图像点坐标只有径向畸变误差，通过建立和求解超定线性方程组，先计算出外部参数；第二步，考虑畸变因素，利用一个三变量的优化搜索算法求解非线性方程组，以确定其他参数；进一步，所述步骤33）具体为：本发明所用到的特征提取和匹配的方法是基于Gensus变换的匹配算法，该算法的变换原则为以窗口中心元素的灰度值为阈值，将窗口中的其他元素与之相比，若其他元素的值比中心元素的值大，则将该元素设为0，否则将该元素设为1；基于Gensus变换的匹配算法的步骤如下：（1）、读取两幅校正后的图像，分别将像素灰度值存入两个动态数组中，令总循环变量i=0；（2）、以存储左图像像素灰度值数组的第i个元素为基准进行窗口内部的秩变换，在算法设定的搜索空间内在右图像中通过计算海明距离搜索候选匹配点，并记录距离最小的点；（3）、以记录的右图像中最大分数值的点为基准进行窗口内部的秩变换，反过来在左图像中进行海明距离最小的候选匹配点的搜索并记录，判断该点与步骤（2）的左图像的基准点是否相同，相同则认为匹配正确并保存匹配点对；令i=i+1，判断i是否达到存储左图像像素灰度值数组的上限，达到了则转步骤（4），否则转步骤（2）。