[发明专利]一种全连接神经网络优化方法和装置

权利要求书

1.一种全连接神经网络优化方法，其特征是，包括：

获取已训练完成的待优化神经网络结构数据及其输入样本数据集；

以输入层的输入为变量，计算得到神经网络中各隐藏层与输出层中各神经元的输入表达式；

基于各神经元的输入表达式，计算得到各隐藏层中各神经元对输出层各神经元的影响程度表达式；

基于各隐藏层神经元对输出层各神经元的影响程度表达式，计算得到各隐藏层神经元对输出层的总影响程度表达式；

基于输入样本数据集中的样本数据，通过各隐藏层神经元对输出层的总影响程度表达式，计算得到各隐藏层神经元对输出层的总影响程度值；

针对总影响程度值较小的神经元，将它们的输入进行近似处理，即得到优化后的神经网络。

2.根据权利要求1所述的方法，其特征是，还包括：对预设数量的总影响程度值较大的神经元的输入进行加固处理。

3.根据权利要求2所述的方法，其特征是，还包括：根据总影响程度值从大到小对各隐藏层神经元进行排序；然后对排序中在前的设定m个隐藏层神经元的输入进行加固处理，对排序中在后的设定n个隐藏层神经元的输入进行近似处理。

4.根据权利要求1所述的方法，其特征是，待优化神经网络结构包括1个输入层、1个输出层和至少1个隐藏层，各层分别包含多个神经元；所述待优化神经网络结构数据包括神经网络中各层所包含的神经元数量、各神经元的激活函数，以及相邻层神经元之间的权重值。

5.根据权利要求1所述的方法，其特征是，隐藏层数量为2个以上，计算各隐藏层中各神经元对输出层各神经元的影响程度表达式包括：

基于各神经元的输入表达式，计算任意两个相邻隐藏层中，前一隐藏层中各神经元对后一隐藏层中各个神经元的影响程度表达式；

通过迭代求导计算各隐藏层中各神经元对输出层各神经元的影响程度表达式。

6.根据权利要求5所述的方法，其特征是，相邻隐藏层之间，或隐藏层与相邻的输出层之间，前一层中任一神经元P对后一层中任一神经元Q的影响程度C_PQ计算公式为：

其中，代表偏微分符号，X代表神经元的输入，Y＝F(X)代表神经元的输出，F′(X_P)代表神经元P的输出对输入的一次导数，ω_Q-P代表神经元P和Q之间的权重值。

7.根据权利要求5所述的方法，其特征是，定义神经网络的隐藏层有L个，最后一个隐藏层中的神经元数量为K，则第L个隐藏层之外的第i个隐藏层中神经元H对输出层中各神经元O的影响程度C_HO计算公式为：

为神经元H对最后一个隐藏层中第k个神经元的影响程度：

为第L个隐藏层中第k个神经元的影响程度对输出层神经元O的影响程度。

8.根据权利要求1所述的方法，其特征是，定义神经网络的输出层神经元数量为J，则隐藏层中任一神经元H对输出层的总影响程度C_H为：

其中，为神经元H对输出层中第i个神经元O_i的影响程度。

9.根据权利要求1所述的方法，其特征是，输入样本数据集包括多个样本数据；计算单个隐藏层神经元对输出层的总影响程度值包括：

将多个样本数据分别输入隐藏层神经元对输出层的总影响程度表达式中，得到相应多个总影响程度计算结果；

将多个总影响程度计算结果相加后除以输入样本数据集的样本容量，得到相应隐藏层神经元对输出层的总影响程度值。

10.一种全连接神经网络优化装置，其特征是，包括：

数据输入模块，用于获取已训练完成的待优化神经网络结构数据及其输入样本数据集；

输入表达式计算模块，用于以输入层的输入为变量，计算得到神经网络中各隐藏层与输出层中各神经元的输入表达式；

影响程度表达式计算模块，用于基于各神经元的输入表达式，计算得到各隐藏层中各神经元对输出层各神经元的影响程度表达式；

总影响程度表达式计算模块，用于基于各隐藏层神经元对输出层各神经元的影响程度表达式，计算得到各隐藏层神经元对输出层的总影响程度表达式；

总影响程度值计算模块，用于基于输入样本数据集中的样本数据，通过各隐藏层神经元对输出层的总影响程度表达式，计算得到各隐藏层神经元对输出层的总影响程度值；

以及近似处理模块，用于对总影响程度值较小的神经元的输入进行近似处理，即得到优化后的神经网络。