[发明专利]基于学习自动机的深度神经网络优化方法

权利要求书

1.一种基于学习自动机的深度神经网络优化方法，其特征在于，在深度神经网络的训练阶段，从全连接的初始网络结构出发，在通过梯度下降迭代更新参数的过程中不断找到网络中的弱连接并将其去除，从而得到更为稀疏连接、具有更小的泛化误差的网络结构，以便用于对测试样本进行更高精度的图像分类，所述的弱连接，通过LA在训练过程中不断与神经网络交互而进行判定。

2.根据权利要求1所述的方法，其特征是，所述的弱连接，其判定具体为：通过对神经网络中的每一个连接，分别分配一个LA对当前连接的强弱进行判定，即：采用具有两个行为α₁和α₂的FSSA模型，其中：行为α₁对应判定当前连接为强连接，α₂对应判定当前连接为弱连接；每个行为对应N个内部状态，即LA共有2N个状态，记为L_2N,N，其中：N代表记忆深度；该学习自动机的输出函数为：当时刻t处于状态q(t)＝q_i,1≤i≤N，则输出α₁，即判定当前连接为强连接；当处于状态q(t)＝q_i,N+1≤i≤2N，则输出α₂，即判定当前连接为弱连接。

3.根据权利要求1所述的方法，其特征是，所述的与神经网络交互是指：当当前连接权重大于阈值时，对当前LA进行奖励，否则，对LA进行惩罚：在没有任何先验知识的情况的初始时刻下，LA处于状态q₁；经过一次迭代过程中，当LA得到奖励，则向判定为强连接的状态移动，即从当前状态q_i转移到q_i-1，当i＝1则保持原状态；当LA得到惩罚，则向判定为弱连接的状态移动，即从当前状态q_i转移到q_i+1，当i＝2N则保持原状态不变。

4.根据权利要求1所述的方法，其特征是，所述的去除是指：在前向传播时把当前权重置零；并且在反向传播过程中把当前权重的梯度置零。