[发明专利]一种基于SELU及FW机制的神经网络模型及学习方法

摘要

本发明涉及一种基于SELU及FW机制的神经网络模型及学习方法，属于递归神经网络以及机器学习技术领域。所述基于SELU及FW机制的神经网络模型包括参数输入模块、递归神经网络模块以及结果评估模块；所述网络模型依托的学习方法包括：步骤1、设定输入及FW模型参数；步骤2、初始化训练及测试参数；步骤3、读取一批样本；步骤4、选择样本维度；步骤5、计算起始隐藏层状态，激活函数为SELU；步骤6、计算快速权重；步骤7、更新s次快速权重；步骤8、计算网络的归一化输出；步骤9、计算损失并更新隐藏层状态、训练参数或测试参数。所述网络模型及学习方法使得储存短期记忆信息网络的准确度及收敛速度大大提高。

主权项

1.一种基于SELU及FW机制的神经网络模型，其特征在于：包括参数输入模块、递归神经网络模块以及结果评估模块；其中，递归神经网络模块又包括初始化模块、样本输入模块、快速权重更新模块、慢速权重更新模块以及参数优化模块；快速权重更新模块又包括层正则化处理模块；其中，参数输入模块设定输入参数及FW模型参数；输入参数包括输入维度以及输入类别；FW模型参数包括Epoch数、batch大小、隐藏单元数、衰减系数、学习率、时间步进s以及最大梯度规范值；初始化模块将训练参数及测试参数初始化为0；其中，训练参数包括Epoch训练损失、Epoch训练准确度以及Epoch训练梯度规范值；测试参数包括Epoch评估损失以及Epoch评估准确度；此外，初始化模块还包括对路径、数据以及存储的Epoch数进行初始化；样本输入模块依据参数输入模块输入的输入维度、输入类别以及Epoch数量输入训练及评估数据；输入的训练及评估数据在快速权重更新模块中被处理，处理过程中的两个重要环节1)激活函数选择SELU函数；2)要进行层正则化处理，具体在层正则化处理模块中实现；经s+1次快速权重更新后的数据进入慢速权重更新模块，慢速权重更新模块的输出传入结果评估模块；在结果评估模块判断是训练过程还是评估过程，若是训练过程，则：输出Epoch训练损失、Epoch训练准确度、Epoch更新数据以及Epoch训练梯度规范值；若是评估过程，则：输出Epoch评估损失以及Epoch评估准确度；结果评估模块将需要优化的参数传给参数优化模块，参数优化模块会将相应数据传输给快速权重更新模块以及慢速权重更新模块；所述基于SELU及FW机制的神经网络模型中各模块的连接关系如下：参数输入模块与递归神经网络模块相连，初始化模块以及样本输入模块与快速权重更新模块相连；样本输入模块与快速权重更新模块相连，快速权重更新模块与慢速权重更新模块相连；慢速权重更新模块与样本输入模块、结果评估模块以及参数优化模块相连，参数优化模块与慢速权重更新模块、快速权重更新模块以及结果评估模块相连。