[发明专利]基于自适应带微分梯度优化的手写体识别方法

权利要求书

1.基于自适应带微分梯度优化的手写体识别方法，该方法的步骤如下：

1)模型参数的预处理：离线训练多层卷积神经网络模型；

2)对完成扫描的样本进行预处理：对手写体字样本的处理及图像中字符的定位，切割或切分，归一化，二值化，平滑，去燥，细化以及生成样本；基于数据集构建训练样本集及测试样本集；

3)输入样本集，提取样本集特征：找出样本中能够有效区分不同类型的本质特征，通过特征提取，找到最有用的信息；

4)网络建立与优化：将提取到的特征输入到单隐层BP神经网络系统训练，并且采用自适应带微分梯度优化方法优化；

5)使用所得到的神经网络对未知手写体样本进行识别；

所述的适应带微分梯度优化方法是在传统带动量随机梯度下降法中引入微分项及自适应机制，具体是：

步骤1：在带动量的梯度下降法中引入微分环节，加速深度神经网络训练：

为了消除历史梯度累积带来的不稳定趋势，加入梯度的变化，引入微分项：

其中，D_t表示t时刻的微分项，D_t-1表示t-1时刻的微分项，T_d表示微分项的增益，J_t表示t时刻的损失函数，w_t为t时刻网络权重；

通过加入微分项，为梯度下降法引入超前信息，改进后的梯度下降法更新如下：

其中，r为动量系数，Δw_t为t时刻的动量项，Δw_t+1为t+1时刻的动量项，D_t+1为t+1时刻累积微分项，D_t为t时刻累积微分项，w_t+1为t+1时刻网络权重，α为学习率；

步骤2：优化梯度下降法学习率，从而使学习率自适应调节：

优化梯度下降法学习率，使其能够自适应调整，即：

最后，得到更新规则：

其中，η为超参数，ε防止分母为零的极小值，为t+1时刻的梯度二阶矩，为t+1时刻的梯度一阶矩。