[发明专利]基于ZCU104平台的卷积神经网络实现及其在水果识别中的应用的处理方法

说明书

本发明公开了一种基于ZCU104平台的卷积神经网络实现及其在水果识别中的应用的处理方法，其特征在于，采集水果图像数据，利用可编程逻辑PL侧对水果图像进行缩放、卷积神经网络的卷积、池化和Softmax函数进行硬件加速，利用FPGA的软件处理系统PS侧进行系统权重读写、参数配置和系统流程控制，软件处理系统PS输出命令启动水果分类，最终通过串口显示识别结果。本发明具有体积小，易于携带，精度高，速度快等特点，非常符合智慧农业的理念，具有很好的实用前景。

技术领域

本发明涉及图像处理领域，具体指的是一种基于ZCU104平台的卷积神经网络实现及其在水果识别中的应用的处理方法。

背景技术

中国是一个农业大国，随着科技的发展，农业发展逐步进入智能化。过去手工采摘与分拣水果大部分被机器所取代。伴随着智能算法的冲击，传统的识别、分类、检测等算法逐步被神经网络算法所取代。不同于传统算法需要复杂的建模，神经网络算法的思路非常清晰、直观。

近年来，国内外对此方向的研究已经有一定的成果。Bargoti S等为了更好的研究水果检测，在果园(包括芒果、杏仁和梨)使用FasterR-CNN来进行水果检测，使得训练数据减少了两倍以上。赵德安等为了提高苹果采摘机器人的工作效率和适应性，通过单个卷积遍历整个图像，回归目标的类别和位置，提出了基于YOLOv3深度卷积神经网络的苹果定位方法，可以快速准确地识别苹果。周云成等为了实现番茄不同器官的快速识别，在VGGNet的基础上，通过结构优化，提出了基于深度卷积神经网络的番茄主要器官分类识别方法，实验结果表明有较高的精度。卷积神经网络在农业智能机器人采摘、水果分类和分级、病虫害检测等许多领域都已有很好的应用。然而神经网络的待计算参数会随着层数的加深变得更多，因此采用硬件设备来提识别的实时性变得尤为重要。目前，通过硬件描述语言来编写逻辑，实现并行化的卷积神经网络，使用FPGA代替CPU实现神经网络已经成为一种新思路。

发明内容

本发明是为了解决CPU和一般嵌入式设备对于水果分类识别速度慢和经典算法识别精度低的问题，提出了一种基于ZCU104平台的卷积神经网络实现及其在水果识别中的应用的处理方法。

本发明是利用带有片上系统的FPGA来实现卷积神经网络以及对正常苹果、梨和腐败的苹果、梨的四种水果的识别，技术方案如下：一种基于ZCU104平台的卷积神经网络实现及其在水果识别中的应用的处理方法，采集水果图像数据，利用可编程逻辑PL侧对水果图像进行缩放、卷积神经网络的卷积、池化和Softmax函数进行硬件加速，利用FPGA的软件处理系统PS侧进行系统权重读写、参数配置和系统流程控制，软件处理系统PS输出命令启动水果分类，最终通过串口显示识别结果。

进一步，所述利用可编程逻辑PL侧对水果图像进行缩放，卷积神经网络的输入图像的大小为224x224，利用双线性插值算法将摄相头获取的图像缩放为224x224。

进一步，所述可编程逻辑PL侧对卷积神经网络的卷积进行硬件加速，卷积神经网络的计算量集中在卷积和池化两部分，由大量的矩阵乘法和加法等数学运算构成，卷积层的一般形式如下所示：

上式中，上式中，上标l代表神经网络的层数，M_j为输入特征图的一个选择，k代表各层的卷积核,b代表各层的偏置，f()代表激活函数，i和j代表单个卷积核中每个值对应的位置，采用双通道卷积并将特征图输入通道分块，合并为大位宽的数据，并调用乘法器计算出每个子块的结果。