[发明专利]基于深度神经网络的水果检测方法及系统

说明书

本发明公开一种基于深度神经网络的水果检测方法，包括如下步骤：S1、相机采集图像，所述图像中包含至少一个目标物体；S2、将采集到的图像输入神经网络，神经网络输出含有检测框的目标物体及其置信度得分；S3、检测并删除图像中各目标物体的冗余检测框，剩余检测框内的图像即为目标物体图像。YOLOv4‑SPP2模型融合神经网络特征图多尺度信息，从而提高了目标尺度变化大和小目标检测的精确度，通过本发明提供的Greedy‑Confluence的边界框抑制算法来提高遮挡、重叠物体的检测精度，提高了复杂环境下的水果检测精度。

技术领域

本发明属于图像处理技术领域，更具体地，本发明涉及一种基于深度神经网络的水果检测方法及系统。

背景技术

随着移动抓取机器人在工农业有着越来越广泛的应用，机器人的抓取目标识别以及定位能力越来越重要。移动抓取机器人主要包括移动平台和机械臂，而物体的抓取能力的好坏很大一部分取决于被抓取物体的定位精度以及识别的准确性。

现在基于视觉的机器人可以实现水果的定位和采摘及分拣，由于现场情况复杂，存在水果间的遮挡，树叶遮挡、水果目标尺度变化大等情况，导致在基于采集图像进行目标物体识别时，存在目标物体识别精准度不高的问题，此处的目标物体识别包括大小识别，数量识别及位置识别，进而导致水果的分拣需要人为二次分拣的情况的产生。

发明内容

本发明提供一种基于深度神经网络的水果检测方法，旨在改善上述问题。

本发明是这样实现的，一种基于深度神经网络的水果检测方法，所述方法具体包括如下步骤：

S1、相机采集图像，所述图像中包含至少一个目标物体；

S2、将采集到的图像输入神经网络，神经网络输出含有检测框的目标物体及其置信度得分；

S3、检测并删除图像中各目标物体的冗余检测框，剩余检测框内的图像即为目标物体图像。

进一步的，在步骤S3之后还包括如下步骤：

基于识别出的目标物体图像进行分拣，其分拣方法具体包括如下步骤：

S4、计算目标物体中心在图像坐标系中的图像坐标，将目标物体中心的图像坐标转换为世界坐标系下的空间坐标。并计算目标物体的大小；

S5、对目标物体的空间坐标进行逆运动学角度求解，进行机械臂抓取；

S6、机械臂单轴转动进行缺陷检测，将无缺陷的目标物体按照尺寸大小进行分拣。

进一步的，所述神经网络包括：用于检测大目标物体的第一目标检测层，在第一目标检测层的前端设置SPP5模块,SPP5模块的两端分别连接CSPDarknet53结构的深层卷积层及第一特征检测单元Ⅰ，深层卷积层将输出的深层特征图传输至SPP5模块，经SPP5模块处理后的图像输出至第一特征检测单元Ⅰ；

用于检测中目标物体的第二目标检测层,第二目标检测层上设有第一特征检测单元Ⅱ；

用于检测小目标物体的第三目标检测层，在第三目标检测层的前端设置有SPP模块,SPP模块的两端分别连接与CSPDarknet53结构的浅层卷积层及第一特征检测单元Ⅲ，浅层卷积层将浅层特征图输出至SPP模块，经SPP模块处理后的图像输出至第一特征检测单元Ⅲ；

第一特征检测单元Ⅰ输出的特征图像进行上采样后,传输至第一特征检测单元Ⅱ，对第一特征检测单元Ⅱ输出的特征图像进行上采样,输出至第一特征检测单元Ⅲ；

其中，SPP模块的池化核大小为1×1，5×5，9×9，13×13；

SPP5模块的池化核大小细化为1×1，4×4，7×7，10×10，13×13。

进一步的，目标物体图像的获取具体包括如下步骤：