[发明专利]一种基于FW机制及LSTM的递归网络模型及学习方法

摘要

本发明涉及一种基于FW机制及LSTM的递归网络模型及学习方法，属于递归神经网络以及自然语言处理技术领域。包括基于FW机制及LSTM的递归网络模型及依托的学习方法；前者包括数据导入模块、数据生成模块、加载与迭代模块、参数设定模块、模型定义模块、递归网络训练、评估以及测试模块；学习方法包括：1导入数据；2将导入数据进行拆分得到训练数据、评估数据和测试数据；3根据导入数据，获取预先设定好的配置参数；4完成权重参数的初始化；5将训练、评估和测试数据送入LSTM单元计算输出向量；6计算loss函数，对网络参数进行优化，输出复杂度。所述网络模型及学习方法进一步提升了LSTM模型处理的准确度及收敛速度。

主权项

1.基于FW机制及LSTM的递归网络模型，其特征在于：包括数据导入模块、数据生成模块、加载与迭代模块、参数设定模块、模型定义模块、递归网络训练模块、递归网络评估模块以及递归网络测试模块；其中，数据生成模块又包括数据拆分单元；加载与迭代模块包括数据加载单元和迭代单元；数据拆分单元包括训练数据生成单元、评估数据生成单元以及测试数据生成单元；递归网络训练模块包括dropout单元、更新单元和结果储存单元；递归网络评估模块以及递归网络测试模块仅包括更新单元和结果储存单元；其中，更新单元包括长短时记忆单元和快速权重单元；所述基于FW机制及LSTM的递归网络模型中各模块的连接关系如下：数据导入模块与数据生成模块相连，数据生成模块和加载与迭代模块相连，参数设定模块和加载与迭代模块以及模型定义模块相连，递归网络训练模块和加载与迭代模块、递归网络评估模块以及模型定义模块相连，递归网络评估模块与加载与迭代模块、递归网络训练模块、递归网络测试模块以及模型定义模块相连；递归网络测试模块与加载与迭代模块、递归网络评估模块和模型定义模块相连；数据生成模块中各单元的连接关系如下：数据拆分单元中训练数据、评估数据和测试数据分别与训练标签生成单元、评估标签生成单元以及测试标签生成单元相连；加载与迭代模块中各单元的连接关系如下:数据加载单元和迭代单元相连；所述基于FW机制及LSTM的递归网络模型中各模块的信号产生及输出关系如下：数据导入模块的输出接入数据生成模块；数据生成模块处理后接入加载与迭代模块；参数设定模块为加载与迭代模块和模型定义模块提供输入参数及FW模型参数；加载与迭代模块分别为递归网络训练模块、递归网络评估模块和递归网络测试模块提供训练数据和训练标签、评估数据和评估标签以及测试数据和测试标签；模型定义模块将FW模型参数分别输入递归网络训练模块、递归网络评估模块以及递归网络测试模块；递归网络训练模块将训练好的网络参数送入递归网络评估模块；递归网络评估模块将评估后的网络参数送入递归网络测试模块；递归网络训练模块、评估模块以及测试模块中的各单元连接关系如下：dropout单元接收数据并与长短时记忆单元相连，长短时记忆单元与数据输入和快速权重单元相连，结果储存单元与快速权重单元和结果相连。