[发明专利]机器人防损伤采摘葡萄的自动定位方法

摘要

本发明公开了一种机器人防损伤采摘葡萄的自动定位方法，包括以下步骤左右摄像机对葡萄进行图像采集，得到的葡萄珠圆心和摘切点的平面坐标，通过计算得到葡萄珠圆心和摘切点的三维空间坐标。求解葡萄珠圆心的三维空间坐标到葡萄簇中心轴Y的距离，在每个步长内，对距离Y轴最远的葡萄珠轮廓进行拟合，得到最大的葡萄簇截面轮廓，将葡萄簇截面轮廓绕Y轴旋转360°，得到葡萄簇三维空间域，在躲避葡萄簇三维空间域的前提下，机器人的机械手由当前位置运动至所述摘切点的三维空间坐标对应位置，进行采摘。该方法可以精确定位摘切点，并且防止机械手在采摘过程中损伤葡萄珠。

主权项

一种机器人防损伤采摘葡萄的自动定位方法，其特征在于，包括以下步骤：(1)对机器人的左右摄像机进行标定，然后通过所述左右摄像机采集葡萄的图像，得到RGB彩色图像A和B，分别对所述图像A和B进行校正后，得到图像C和D；(2)将所述图像C转化为颜色空间图像，提取所述颜色空间图像的分量，得到分量图，对所述分量图进行中值滤波，得到图像E；(3)对所述图像E进行阈值分割，得到二值图像，对所述二值图像进行形态学腐蚀和膨胀运算，得到形态学去噪后的图像G；(4)提取所述图像G的最大连通区域，求解所述最大连通区域的重心(xc,yc)、轮廓极值点和轮廓最大左右长度，确定葡萄果梗感兴趣矩形区域，对所述葡萄果梗感兴趣矩形区域进行边缘提取，得到葡萄果梗感兴趣矩形区域边缘的二值图像，对所述葡萄果梗感兴趣矩形区域边缘的二值图像进行霍夫直线检测，得到线段，求解所述最大连通区域的重心到所述线段的距离Dm,其中m＝1,2,3……N，确定距离最小的所述线段的中点为摘切点平面坐标(xl,yl)；(5)根据步骤(4)中所述的最大连通区域的重心、轮廓极值点和轮廓最大左右长度，得到葡萄簇轮廓外接矩形区域，对所述葡萄簇轮廓外接矩形区域进行边缘提取，得到葡萄簇轮廓外接矩形区域边缘的二值图像，对所述葡萄簇轮廓外接矩形区域边缘的二值图像进行霍夫圆检测，得到多个葡萄珠圆心平面坐标(xclm,yclm)和半径rm，其中m＝1,2,3……N；(6)对图像C中所述摘切点平面坐标(xl,yl)在图像D中进行立体匹配，得到所述图像D中的摘切点平面坐标(xr,yr)及所述图像C和图像D中摘切点的视差dc，将所述摘切点平面坐标(xl,yl)和(xr,yr)转换为三维空间坐标(Xc,Yc,Zc)；对图像C中所述葡萄珠圆心平面坐标(xclm,yclm)在图像D中进行立体匹配，得到所述图像D中的葡萄珠圆心平面坐标(xcrm,ycrm)及所述图像C和图像D中葡萄珠圆心的视差dm，将所述葡萄珠圆心平面坐标(xclm,yclm)和(xcrm,ycrm)转换为三维空间坐标(xm，ym，zm)，其中m＝1,2,3……N；(7)根据步骤(5)中所述葡萄珠圆心的三维空间坐标的对应位置，求解全部所述葡萄珠圆心的三维空间坐标(xm，ym，zm)到葡萄簇中心轴Y轴的距离Lm，根据步骤(5)中所述葡萄珠半径rm确定葡萄珠直径，以葡萄珠直径最大值的1.5倍为步长，在每个所述步长内，对距离Y轴最远的葡萄珠轮廓进行拟合，得到最大的葡萄簇截面轮廓，将所述葡萄簇截面轮廓绕Y轴旋转360°，得到葡萄簇三维空间域；(8)在躲避步骤(7)中所述葡萄簇三维空间域的前提下，机器人的机械手由当前位置运动至所述摘切点的三维空间坐标对应位置，进行采摘；步骤(6)中，用以下方法对图像C中平面坐标在图像D中进行立体匹配：1)以所述图像C中的点(x,y)为中心定义一个边长为n的正方形窗口，以所述图像D中的点(x‑d,y)为中心定义一个边长为n的正方形窗口；2)通过公式(3)求解相似度值NCC(d)最大值所对应的视差d：NCC(d)=1(2n+1)2Σj=-nnΣi=-nn[I1(x+i,y+j)-I‾1(x,y)][I2(x+i-d,y+j)-I‾2(x-d,y)]Σj=-nnΣi=-nn[I1(x+i,y+j)-I‾1(x,y)]2Σj=-nnΣi=-nn[I2(x+i-d,y+j)-I‾2(x-d,y)]2---(3)]]>式中，I1(x+i,y+j)指所述图像C中点(x+i，y+j)的灰度值，指所述图像C中以点(x,y)为中心定义的正方形窗口的灰度值的平均值，I2(x+i‑d,y+j)指所述图像D中点(x+i‑d，y+j)的灰度值，指所述图像D中以点(x‑d,y)为中心定义一个边长为n的正方形窗口灰度值平均值；3)得到图像D中的平面坐标(x‑d，y)。