[发明专利]一种基于残差网络的多层感知机人工神经网络

权利要求书

1.一种基于残差网络的多层感知机人工神经网络，通过残差神经网络搭建一个信息传递快速通道，训练过程保持原始信息，在残差神经网络中存在内协变量偏移，在残差神经网络中引入BN方法，对于每一个神经元的输入加入参数和每个神经元的输入为：

$y_l^{\left(k\right)}={\mathrm{\γ}}_l^{\left(k\right)}{\hat{x}}_l^{\left(k\right)}+{\mathrm{\β}}_l^{\left(k\right)}---\left(1\right)$

其中，是采用标准差标准化的直线型无量纲化函数，表示为

${\hat{x}}_l^{\left(k\right)}=\frac{x_l^{\left(k\right)}-\mathrm{\μ}}{\mathrm{\σ}}---\left(2\right)$

μ和σ分别代表输入分布的期望值和标准差；

基于参差网络的多层感知机人工神经网络包括了若干网络模块结构，采用全连接的方式代替残差神经网络中的卷积，所述网络模块结构中神经元结构通过每一个隐藏层的输出来得到完整残差模块的输出，

其中，每一个隐藏层的输出为

s_i＝ReLU[BN(net_i)](3)

完整的参差模块的输出为

o_i＝ReLU[BN(net_i+1)+net_i] (4)

2.根据权利要求1所述的基于残差网络的多层感知机人工神经网络，其特征在于，当所述残差模块的输入和输出的维度不同，采用完全连接调整输入的维度，使得残差模块运行。

3.根据权利要求1所述的基于残差网络的多层感知机人工神经网络，其特征在于，所述残差模块在MNIST数据集上训练的准确率达98％。