[发明专利]一种基于多模型融合的水果识别方法

说明书

本发明提出了一种基于多模型融合的水果识别方法，包括如下介绍：利用多模型融合方法进行模型训练，采用SSD进行模型训练，模型网络结构采用VGG16、ResNet以及VGG19相结合的方法，对于它们的训练结果不做输出处理，而是将它们输出的bounding box和目标类别的概率，以及区域重叠面积超过95％的bounding box目标认为是不同模型识别出的同一个物体。每一个模型的输出都是10维的概率向量，将实际得到的这三个向量进行拼接作为BP神经网络的输入。基于多模型识别的水果识别模型将多种模型识别技术进行整合，调整残差网络，解决了在过深的深度学习网络中无法进行有效传播梯度的问题。

技术领域

本发明涉及物联网、水果识别、多模型融合技术和深度学习，具体涉及到一种基于多模型融合的水果识别方法。

背景技术

目前已经有一些利用深度学习的方法进行冰箱下水果识别的方法，无论是早期的R-CNN、SPPNET和Fast R-CNN到现在的Faster R-CNN、YOLO、SSD，它们都可以完成水果鉴别的工作。与Faster R-CNN相比，SSD和它最大的区别是SSD不需要创建proposal，没有了这个过程，自然在很大程度上提升了识别的效率。针对目标的比例有差异的检验，古老的方法是先将图片变换成不一样的尺寸，然后分别检验，之后把结果组合一下。而SSD方法使用有一定差异的 convolution layer的特征图谱组合起来也能达到和预期一样的结果。冰箱的保鲜层中食品种类繁杂，水果的种类也是多种多样，而且水果的组合差异也非常大，这对识别效率提出了很高的要求，本课题利用 SSD进行水果识别。SSD具有多种维度下运算特性的能力，评价这种度量下的模块所拥有的几率和它紧密关联的偏移量，这个方法能够traversal所有region。SSD取得的是图片里的矩形region以及该region 相应的种类以及种类的概率。SSD的特点是将图片的每个比例的不同地方的特性执行回归操作，效率得到了提升，又能确保精准度。BP neural network在运算时，它由两部分组成，一部分是正向的一部分是反向的。正向传播的是信息，反向传播的是误差。而在正向的输送处理中，信息由输入层到隐藏层经过层层的处理，最终到达输出层，每层神经元的状态不会受到跨层影响。如果在输出层的输出与预期的值相差过于悬殊，那么就会进行反向传播，将错误差值信号沿着本来的路线反馈回去，再逐步改进每层的神经元的权值，使得错误差值信号达到最小化。BP神经网络可以用不确定的输出向量把它的输入向量相互关联在一起。BP神经网络非常适合本课题的使用场景。

发明内容

为解决现有技术中的缺点和不足，本发明提出了一种基于多模型融合的水果识别方法，通过采用多模型融合技术和深度神经网络水果识别方法，削减数据冗余，调整残差网络，以更加精确的进行水果识别。

本发明的技术方案为：

设u、v、w分别是SSD(ResNet)、SSD(VGG16)和SSD(VGG19) 的输出经过转换并归一化后的结果，它们作为BP神经网络的三个 input，本发明设计的网络中只含有一个隐含层，隐藏层中有20个节点，Input layer包含了30个节点，output layer有10个节点如图1的模型结构。本发明采用了线性传递函数作为output layer和隐藏层神经元的传递函数，设神经元状态为X_i，output为Y_i，它们的关系是线性的变化关系，即

Y_i＝f(X_i)＝X_i (1-1)

设D₁，D₂…，D₁₀分别为BP神经网络的输入，对应的输出为

E_i＝D_i，i＝1,2…,10 (1-2)

对于隐含层，第j个节点的输入

第j个节点的输出