[发明专利]基于分水岭和神经网络的苹果采摘机器人夜间图像识别方法

说明书

本发明公开了一种基于分水岭和神经网络的苹果采摘机器人夜间图像识别方法，该方法在夜间通过人工光源辅助照明采集苹果果园中的彩色图像，采用改进的分水岭算法沿图像边缘将图像碎片化，提取每个碎片的颜色特征和纹理特征，再建立反向传播人工神经网络并利用己知类别碎片的特征量进行训练，接着利用训练好的神经网络根据每个碎片的特征量进行分类，最后根据碎片之间的位置关系滤除错误分类以修正分类结果并确定苹果的位置。本发明通过将图像碎片化并对碎片进行分类的方法识别夜间苹果，能有效抑制人工光源造成的光照不均、阴影和反光现象对苹果识别的影响，并提高识别苹果的完整度和定位精度。

技术领域

本发明涉及果树采摘机器人，尤其是苹果采摘机器人在夜间的图像识别技术领域，基于分水岭和神经网络对夜间苹果果实进行识别。

背景技术

我国是世界上最大的苹果生产国，而采摘作业是苹果种植生产中最耗时、费力的环节之一，对机器采摘作业的需求越来越迫切。但目前，苹果采摘机器人的采摘效率受限于图像的识别速度和机械手的采摘速度还难以与人工相媲美。2008年，比利时学者开发了苹果采摘机器人AFPM，对直径在6cm到11cm的苹果采摘率在80％左右，平均采摘时间为9秒。2011年中国农业机械化科学研究院与江苏大学联合研制的苹果采摘机器人，其采摘成功率为80％，收获速度为15秒/个。然而机器人具有不知疲倦、可以长时间连续工作的优势，因此，另辟蹊径实现全昼夜作业，可以提高苹果采摘机器人总体工作效率。昼夜作业的实现要求采摘机器人的视觉系统能适应多种光照条件，其中夜间人工光源照明下的采摘作业是其中的重要组成部分。

夜间人工光源下的果蔬识别国内外均有所研究，但是大都以产量估计为目的。2014年，国内学者张春龙等采用以归一化的g分量和HSV色彩空间的H，S颜色分量为特征参量的支持向量机分类器和以超绿算子(2G-R-B)为特征的阈值分类器识别出夜间光照下的青苹果并估算产量。2014年，澳大利亚学者A.Payne等采集了夜间LED光照下的芒果图像，结合YCbCr彩色空间的颜色特征与形状纹理特征识别芒果并估算芒果产量。2013年，美国学者D.Font等在夜间利用人工光源照明采集了红色成熟葡萄的RGB图像，通过检测葡萄表面的球面反射峰值计算葡萄个数。2014年，Stephen Nuske等综合颜色、形状、纹理多种视觉特征对夜间人工光源下的青葡萄进行识别以估算产量。然而以产量估算为目的果蔬识别在目标水果定位的精确性上难以满足机器人采摘的需要。为了引导机械手进行采摘，还需要进一步减少夜间人工光源照明带来的干扰因素实现目标水果的精确定位。

分水岭算法的基本思想是把图像看作测地学上的拓扑地貌，图像中的每个像素值代表该点的海拔高度，每个局部极小值及其影响区域称为集水盆。分水岭的形成可以通过模拟浸没过程来说明。在每一个局部最小值表面，刺穿一个小孔，然后把整个模型慢慢浸入水中，随着浸入的加深，每个局部最小值的影响域慢慢向外扩展，在两个集水盆汇合处构筑大坝，即形成分水岭。

形态学开闭滤波就是对二值图像先进行开运算再进行闭运算。其中开运算具有去除毛刺，平滑边缘并滤除小的孤立点的作用；闭运算具有弥合断点，填充小的孔洞的作用。开运算可以几何的描述为将结构元素紧贴原图像内部边界滚动并保证结构元素始终包含于原图像内，结构元素中的点所能达到的最靠近原图像内边界的位置构成了开运算结果的外边界。闭运算和开运算是对偶的，同样可以几何的描述为将结构元素紧贴原图像的外边界滚动，滚动过程中始终保证其不离开原图像，此时结构元素中的点所能达到的最靠近原图像外边界的位置构成了闭运算的外边界。

神经网络又叫人工神经网络(Artificial Neural Network，ANN)，是对人脑或生物神经网络若干基本特性的抽象和模拟。神经网路优异的学习能够大大节省对数据进行分析建模的工作量，提高分类效率。其中反向传播人工神经网络(Back PropogationArtificial Neural Network，BP神经网络)是应用最为广泛的神经网络之一。

发明内容