[发明专利]一种卷积神经网络的优化方法和装置

说明书

技术领域

本发明属于人工神经网络领域，尤其涉及一种卷积神经网络的优化方法和装置。

背景技术

卷积神经网络(英文全称为Convolutional Neural Network，英文简称为CNN)是人工神经网络的一种，目前已成为语音分析和图像识别领域的研究热点。卷积神经网络的权值共享网络结构，类似于生物神经网络，有效的降低了网络模型的复杂度，减少了权值的数量。

随着CNN网络的发展，特别是VGG(英文全称为visual geometry group，中文全称为：视觉几何组)卷积神经网络的提出，使得网络层数的增加成为卷积神经网络的一个重要研究方向。但是，随着网络层数的增加，会出现明显的梯度的消失，或者梯度的爆炸，会导致训练不能有效的收敛，卷积神经网络的参数数量迅速增加，影响系统的预测精度和预测速度。

发明内容

本发明的目的在于提供一种卷积神经网络的优化方法，以解决现有技术由于网络层数增加，导致卷积神经网络的参数数量迅速增加，影响系统的预测精度和预测速度的问题。

第一方面，本发明实施例提供了一种卷积神经网络的优化方法，所述方法包括：

在所述卷积神经网络所增加的层上设置捷径连接，通过学习获取所述捷径连接对应的残差映射；

根据所述残差映射确定所述捷径连接对应的期望映射；

将所述期望映射代替所述捷径连接对应的层，进行卷积神经网络模型预测。

结合第一方面，在第一方面的第一种可能实现方式中，所述根据所述残差映射确定所述捷径连接对应的期望映射步骤包括：

判断所述期望映射H(X)为非线性映射，且映射变量X与期望映射H(X)具有相同维数时，所述期望映射H(X)＝F(X)+X，其中F(X)为残差映射；

判断所述期望映射H(X)为非线性映射，则映射变量X与期望映射H(X)维数不相同时，所述期望映射H(X)＝F(X)+f(X),其中，f(X)＝w×X，其中F(X)为残差映射，w为神经网络的权重。

结合第一方面，在第一方面的第二种可能实现方式中，所述方法还包括：

对所述卷积神经网络归一化初始化和中间层的归一化训练。

结合第一方面，在第一方面的第三种可能实现方式中，所述方法还包括：

采用N×N卷积核对所述卷积神经网络的层进行卷积运算，其中2<N<7。

结合第一方面，在第一方面的第四种可能实现方式中，所述方法还包括下述步骤中的一种或者多种：

在所述卷积神经网络的最后的卷积层之后，加入最大池化层，所述最大池化层的采样滑动窗口为C*C，步长为1，其中C与图像经全部卷积层处理后的图像块的边长相同；

先在样本数据库上训练卷积神经网络模型，然后在标注准确的数据库上更新中间卷积层与全连层的参数，对所述卷积神经网络进行微调；

在保持原图像长宽比的基础上，降低输入图像的尺寸；

减少卷积层的通道数。

第二方面，本发明实施例提供了一种卷积神经网络的优化装置，所述装置包括：

捷径连接设置单元，用于在所述卷积神经网络所增加的层上设置捷径连接，通过学习获取所述捷径连接对应的残差映射；

期望映射获取单元，用于根据所述残差映射确定所述捷径连接对应的期望映射；

代替单元，用于将所述期望映射代替所述捷径连接对应的层，进行卷积神经网络模型预测。

结合第二方面，在第二方面的第一种可能实现方式中，所述期望映射单元包括：

第一计算子单元，用于判断所述期望映射H(X)为非线性映射，且映射变量X与期望映射H(X)具有相同维数时，所述期望映射H(X)＝F(X)+X，其中F(X)为残差映射；

第二计算子单元，用于判断所述期望映射H(X)为非线性映射，则映射变量X与期望映射H(X)维数不相同时，所述期望映射H(X)＝F(X)+f(X),其中，f(X)＝w×X，其中F(X)为残差映射，w为神经网络的权重。

结合第二方面，在第二方面的第二种可能实现方式中，所述装置还包括：

归一化训练单元，用于对所述卷积神经网络归一化初始化和中间层的归一化训练。

结合第二方面，在第二方面的第三种可能实现方式中，所述装置还包括：

卷积运算单元，用于采用N×N卷积核对所述卷积神经网络的层进行卷积运算，其中2<N<7。

结合第二方面，在第二方面的第四种可能实现方式中，所述装置还包括下述单元中的一个或者多个：