[发明专利]基于领域适应的自然语言处理任务的迁移学习系统和方法

权利要求书

1.基于领域适应的自然语言处理任务的迁移学习系统，包括：

开放领域部分模块和特定领域部分模块，其中，开放领域部分模块，用于：

利用已有的开放领域数据进行训练，根据不同自然语言处理任务修改输出层，具体包括：LSTM网络对开放领域进行训练，可以获得开放领域神经网络的权重矩阵；

特定领域部分模块，用于：构造特定领域神经网络，根据不同自然语言处理任务修改输出层，与开放领域部分输出层一致；

其中，保持重复部分神经网络权重矩阵与已经训练好的开放领域神经网络权重矩阵相同，训练特定领域神经网络，根据输出层结果得到不同自然语言处理任务的结果；

所述特定领域神经网络，具体包括：

开放领域部分模块的embedding层，LSTM层和独立的embedding层、LSTM层和输出层；

特定领域部分的LSTM层同时从开放领域部分embedding层和特定领域部分embedding层接收输入；

c_t＝i_t⊙u_t+f_t⊙c_t-1

其中，x_t是通过横向连接输入两个域的组合，i_t是第t个单元的输入门；f_t是第t个单元的遗忘门；o_t是第t个单元的输出门，W⁽⁾、b⁽⁾、U⁽⁾是可训练参数，c_t是第t单元的存储单元状态；

输出层同时接收开放领域部分LSTM层的输出和特定领域部分LSTM层的输出，进行输出；

其中，f是激活函数；输出层和开放领域部分输出层一致，对于不同的自然语言处理任务是可变的。

2.根据权利要求1所述的基于领域适应的自然语言处理任务的迁移学习系统，其特征在于，所述开放领域神经网络，包括embedding层，LSTM层和输出层，其中，Embedding层将句子中的词embedding为d维向量，LSTM层接收词embedding；

c_t＝i_t⊙u_t+f_t⊙c_t-1

其中，i_t是第t个单元的输入门；f_t是第t个单元的遗忘门；o_t是第t个单元的输出门，W⁽⁾、b⁽⁾、U⁽⁾为可训练参数，c_t是第t单元的存储单元状态；

此外，输出层对于不同的自然语言处理任务是可变的。

3.根据权利要求1所述的基于领域适应的自然语言处理任务的迁移学习系统，其特征在于，当为情感分析任务时，输出层输出一个感情得分；

这里S^O、S^S分别为开放领域部分和特定领域部分输出层的输出，σ是sigmoid函数。