[发明专利]一种卷积神经网络的优化方法和装置

权利要求书

1.一种卷积神经网络的优化方法，其特征在于，所述方法包括：

在所述卷积神经网络所增加的层上设置捷径连接，通过学习获取所述捷径连接对应的残差映射；

根据所述残差映射确定所述捷径连接对应的期望映射；

将所述期望映射代替所述捷径连接对应的层，进行卷积神经网络模型预测。

2.根据权利要求1所述方法，其特征在于，所述根据所述残差映射确定所述捷径连接对应的期望映射步骤包括：

判断所述期望映射H(X)为非线性映射，且映射变量X与期望映射H(X)具有相同维数时，所述期望映射H(X)＝F(X)+X，其中F(X)为残差映射；

判断所述期望映射H(X)为非线性映射，则映射变量X与期望映射H(X)维数不相同时，所述期望映射H(X)＝F(X)+f(X),其中，f(X)＝w×X，其中F(X)为残差映射，w为神经网络的权重。

3.根据权利要求1所述方法，其特征在于，所述方法还包括：

对所述卷积神经网络归一化初始化和中间层的归一化训练。

4.根据权利要求1所述方法，其特征在于，所述方法还包括：

采用N×N卷积核对所述卷积神经网络的层进行卷积运算，其中2<N<7。

5.根据权利要求1的述方法，其特征在于，所述方法还包括下述步骤中的一种或者多种：

在所述卷积神经网络的最后的卷积层之后，加入最大池化层，所述最大池化层的采样滑动窗口为C*C，步长为1，其中C与图像经全部卷积层处理后的图像块的边长相同；

先在样本数据库上训练卷积神经网络模型，然后在标注准确的数据库上更新中间卷积层与全连层的参数，对所述卷积神经网络进行微调；

在保持原图像长宽比的基础上，降低输入图像的尺寸；

减少卷积层的通道数。

6.一种卷积神经网络的优化装置，其特征在于，所述装置包括：

捷径连接设置单元，用于在所述卷积神经网络所增加的层上设置捷径连接，通过学习获取所述捷径连接对应的残差映射；

期望映射获取单元，用于根据所述残差映射确定所述捷径连接对应的期望映射；

代替单元，用于将所述期望映射代替所述捷径连接对应的层，进行卷积神经网络模型预测。

7.根据权利要求6所述装置，其特征在于，所述期望映射单元包括：

第一计算子单元，用于判断所述期望映射H(X)为非线性映射，且映射变量X与期望映射H(X)具有相同维数时，所述期望映射H(X)＝F(X)+X，其中F(X)为残差映射；

第二计算子单元，用于判断所述期望映射H(X)为非线性映射，则映射变量X与期望映射H(X)维数不相同时，所述期望映射H(X)＝F(X)+f(X),其中，f(X)＝w×X，其中F(X)为残差映射，w为神经网络的权重。

8.根据权利要求6所述装置，其特征在于，所述装置还包括：

归一化训练单元，用于对所述卷积神经网络归一化初始化和中间层的归一化训练。

9.根据权利要求6所述装置，其特征在于，所述装置还包括：

卷积运算单元，用于采用N×N卷积核对所述卷积神经网络的层进行卷积运算，其中2<N<7。

10.根据权利要求6的述装置，其特征在于，所述装置还包括下述单元中的一个或者多个：

最大池化单元，用于在所述卷积神经网络的最后的卷积层之后，加入最大池化层，所述最大池化层的采样滑动窗口为C*C，步长为1，其中C与图像经全部卷积层处理后的图像块的边长相同；

微调单元，用于先在样本数据库上训练卷积神经网络模型，然后在标注准确的数据库上更新中间卷积层与全连层的参数，对所述卷积神经网络进行微调；

尺寸调整单元，用于在保持原图像长宽比的基础上，降低输入图像的尺寸；

通道调整单元，用于减少卷积层的通道数。