[发明专利]一种激光扫描与机器视觉相结合的果实识别定位方法

说明书

所属技术领域

    本发明涉及农业机器人领域，特别涉及一种激光扫描与机器视觉结合的果实识别定位方法。

背景技术

在机器人采摘中，果实的识别与定位是关键技术难题。目前普遍利用机器视觉来进行果实的识别与定位，但机器视觉对光照条件敏感，背光、逆光等条件均会造成图像中的果实边缘信息提取的困难与错误，而补光等措施的效果受到实际光照条件的严格限制。同时，对普遍存在的果实相重叠情况，在机器视觉图像中难以判别，仅能通过复杂算法处理来进行有限分割，其实时性与准确性严重不足。少数利用多光谱技术进行果实识别，其精度与实时性难以保证，且无法满足重叠果实区分与果实定位的需要。近年来国内外开展了以激光为光源的三维视觉传感器开发（刘兆祥等，苹果采摘机器人三维视觉传感器设计，农业机械学报，2010，41，2：171~175；I Dewa Made SUBRATA等，3-D Vision Sensor for Cherry Tomato Harvesting Robot，JARQ，1997： 257-264；Kanae Tanigakia等，Cherry-harvesting robot，Computer and Electronics in Agriculture, 2008：65~72.），利用果树对激光的反射差异实现果实识别，利用激光三角测量原理实现果实定位，但对于成熟果实和未成熟果实的反射率相近等情况，由于信息的不足而难以做出正确判断。

发明内容

   本发明提供一种激光扫描与机器视觉相结合的果实识别定位方法,实现对成熟目标果实的准确识别和定位。

为了解决以上技术问题，本发明采用的具体技术方案包括以下步骤：

步骤一，利用激光扫描仪（1）通过三维扫描同时获得前方场景的反射率（3）、坐标（4）和距离（5）信息，同时由相机（2）获得前方场景的彩色图像（6）；

步骤二，将反射率（3）和坐标（4）信息相结合得到前方场景的反射率图（7），将坐标（4）和距离（5）信息相结合得到前方场景的深度图（7）；

步骤三，根据反射率图（7）中的果实（9）与枝（10）、叶（11）轮廓形状的圆度等特征，将果实（9）与枝（10）、叶（11）进行区分； 

步骤四，将彩色图像（6）与反射率图（7）进行匹配，根据彩色图像（6）与反射率图（7）中特征点（12）的颜色不同将成熟果实（13）和未成熟果实（14）进行区分，区分的依据为：当果实为番茄果实时，成熟果实（13）与未成熟果实（14）的颜色分别为青白和红；当果实为柑橘时，成熟果实（13）与未成熟果实（14）的颜色分别为青和橘黄；当果实为桃时，成熟果实（13）与未成熟果实（14）的颜色分别为青和桃红。

步骤五，根据深度图（8）不同果实所处的不同距离，将成熟目标果实（15）从各个相重叠果实（17）中区分出来；

步骤六，根据深度图（8）中成熟目标果实（15）的距离（5）与坐标（4）信息，实现对成熟目标果实（15）进行定位。

所述果实（9）为番茄、柑橘、桃果实中的任一种。

本发明的工作原理如下：激光扫描仪（1）的三维扫描不受光照条件的影响，在扫描生成的反射率图（7）中，反射率具有显著差异的果实（9）与枝（10）、叶（11）间可形成清晰轮廓并进行区分；将相机（2）获得的彩色图像（6）与反射率图（7）匹配，可根据彩色图像（6）与反射率图（7）中特征点（12）的颜色特征差异将反射率（3）相近的成熟果实（13）和未成熟果实（14）进行区分；在激光扫描所获得的深度图（8）中，根据多个相互重叠的果实（9）所处的距离不同可以将成熟目标果实（15）从各个相重叠果实（17）中区分出来。

本发明具有有益效果。本发明结合利用激光扫描获得的反射率、深度、坐标等多信息与机器视觉的彩色图像信息，综合实现成熟目标果实与枝叶、未成熟果实、相重叠果实的区分和定位，识别和定法准确，方法简单快速，实时性与实用性强。

附图说明

图1为本发明的方法流程图。

图2为本发明的果实识别定位示意图。

图3为番茄生长状态示意图。

图中：1.激光扫描仪，2.相机，3.反射率，4.坐标，5.距离，6.彩色图像，7.反射率图，8.深度图，9.果实，10.枝，11.叶，12.特征点，13.成熟果实，14.未成熟果实，15.成熟目标果实,16.采摘机器人，17.相重叠果实。

具体实施方式