[发明专利]使用连续正则化训练联合多任务神经网络模型

摘要

所公开的技术提供了所谓的“联合多任务神经网络模型”，以在单个端到端模型中使用不断增长的层深度来解决各种日益复杂的自然语言处理(NLP)任务。通过考虑语言层级，将词表示直接连接到所有模型层，明确地使用较低任务中的预测，并应用所谓的“连续正则化”技术来防止灾难性遗忘，来连续训练该模型。较低级模型层的三个示例是词性(POS)标注层、语块划分层和依赖性解析层。较高级模型层的两个示例是语义相关性层和文本蕴涵层。该模型实现了关于语块划分、依赖性解析、语义相关性和文本蕴涵的最先进的结果。

主权项

1.一种在硬件上运行的堆叠的LSTM序列处理器的训练方法，所述堆叠的LSTM序列处理器根据分析层级堆叠成至少三层，所述训练方法包括：使用针对每层的训练示例通过后向传播训练第一层、第二层和第三层，同时在训练期间具有至下层的正则化的向下传递，包括：使用第一层训练示例训练所述第一层；使用第二层训练示例训练所述第二层，同时具有至所述第一层的正则化的向下传递训练；以及使用第三层训练示例训练所述第三层，同时具有至所述第一层和所述第二层的正则化的向下传递训练；以及通过约束训练目标函数使正则化的向下传递训练正则化，所述训练目标函数具有适应度函数，所述适应度函数具有至少两个正则化项；以及所述两个正则化项通过惩罚应用于所述下层的系数矩阵的权重大小的增长来正则化，并且对应用于所述下层的系数矩阵中权重的所有变化进行连续地正则化。