[发明专利]基于领域适应的自然语言处理任务的迁移学习系统和方法

说明书

本发明公开了一种基于领域适应的自然语言处理任务的迁移学习系统和方法，包括：开放领域部分模块和特定领域部分模块，其中，开放领域部分模块，用于：利用已有的开放领域数据进行训练，根据不同自然语言处理任务修改输出层，具体包括：LSTM网络对开放领域进行训练，可以获得开放领域神经网络的权重矩阵；特定领域部分模块，用于：构造特定领域神经网络，根据不同自然语言处理任务修改输出层，与开放领域部分输出层一致；其中，保持重复部分神经网络权重矩阵与已经训练好的开放领域神经网络权重矩阵相同，训练特定领域神经网络，根据输出层结果得到不同自然语言处理任务的结果。其解决了自然语言处理任务中领域适应的问题。

技术领域

本发明是基于领域适应的自然语言处理任务的迁移学习系统和方法，解决自然语言处理任务中领域适应的问题。

背景技术

自然语言处理(Natural Language Processing)是人工智能和语言学领域的分支学科。在这此领域中探讨如何处理及运用自然语言，包括自然语言认知，自然语言生成和自然语言理解等。自然语言认知则是指让电脑“懂”人类的语言。自然语言生成系统把计算机数据转化为自然语言。自然语言理解系统把自然语言转化为计算机程序更易于处理的形式。自然语言处理的主要任务包括词性标注、情感分析、句法分析等。

目前的自然语言处理技术在应用中仍然存在一些问题。目前的自然语言处理技术大多都是利用标准数据集进行训练的，但是大量实际应用中，需要面对特定领域进行自然语言处理。而自然语言的多义性以及模型在embedding层的过拟合会导致这些模型在特定领域的应用中效果不好。同时，由于特定领域的训练数据匮乏，无法利用特定领域数据进行训练。但是，自然语言处理任务在开放领域和特定领域有大量类似特征(比如：相同的词汇，相同的句法)，并且开放领域的训练数据往往很充足，因此利用迁移学习将开放领域的知识迁移到特定领域，可以解决这些问题。

深度学习在自然语言处理任务中已经取得了不错的成果，包括词性标注任务，情感分析任务和句法分析任务等。在自然语言处理任务中，深度神经网络往往能表示出自然语言不同层次的知识，神经网络中的每一层都能表示不同层次的知识，比如embedding层能表示词层次的知识，卷积神经网络和循环神经网络能够表示短语/语句层次的知识。这些神经网络层在自然语言理解中有着重要的作用。

发明内容

本发明所要解决的技术问题是提供基于领域适应的自然语言处理任务的迁移学习系统和方法，用于解决现有技术存在的问题。

本发明解决上述技术问题所采取的技术方案如下：

基于领域适应的自然语言处理任务的迁移学习系统，包括：

开放领域部分模块和特定领域部分模块，其中，开放领域部分模块，用于：

利用已有的开放领域数据进行训练，根据不同自然语言处理任务修改输出层，具体包括：LSTM网络对开放领域进行训练，可以获得开放领域神经网络的权重矩阵；

特定领域部分模块，用于：构造特定领域神经网络，根据不同自然语言处理任务修改输出层，与开放领域部分输出层一致；

其中，保持重复部分神经网络权重矩阵与已经训练好的开放领域神经网络权重矩阵相同，训练特定领域神经网络，根据输出层结果得到不同自然语言处理任务的结果。

优选的是，所述开放领域神经网络，包括embedding层，LSTM层和输出层，其中，Embedding层将句子中的词embedding为d维向量，LSTM层接收词embedding；

c_t＝i_t⊙u_t+f_t⊙c_t-1