[发明专利]基于双语词向量的低资源语种实体抽取方法

权利要求书

1.一种基于双语词向量的低资源语种实体抽取方法，其特征在于,方法包括以下三个阶段：

(1)基于可比语料库的双语词向量的构建：

利用源语种与低资源目标语种所构成的双语可比语料库来构建双语词向量，以表示跨语种词的语义特征；

(2)源语种实体抽取模型构建：

利用源语种的实体抽取标注训练集，融合基于位置线性衰减的深度学习方法，训练实体抽取模型；

(3)目标语种实体抽取模型构建：

将源语种的实体抽取模型进行模型迁移，用到目标语种文本资源上，并引入双语词向量来丰富目标语种的语义特征，引入强化学习框架来实现目标语种的无监督自学习；

所述步骤(1)的双语词向量依据双语可比语料库构建，并引入了跨语种词袋模型，该跨语种词袋模型中的每个语种的词都被用来预测另一个语种的上下文词；借助双语词典及期望最大化的方法来提高双语映射的准确度，并采用基于翻译词的跨语种注意力机制应对一词多义问题；

所述步骤(2)源语种实体抽取模型：采用基于位置线性衰减的双向长短期记忆网络(Bi-LSTM)编码及长短期记忆网络(LSTM)解码的网络结构；

所述源语种实体抽取模型是基于位置线性衰减的权重加权方法：对输入的源语种句子，首先将其中的词表示成向量形式，该向量由两部分构成，首先在步骤(1)所构成的双语词向量中查询该目标词对应的向量表示，再对该向量进行基于位置线性衰减的加权；该权重计算方法充分描述了目标词距离实体词的位置与其重要程度的关系，表示为：其中E表示所在句子中所包含的实体集，e为该集合下的每个实体，d_ie表示每个词x_i与实体的距离，D表示词语实体的最大距离；

所述步骤(3)目标语种实体抽取模型，采用了模型迁移的方法，对于模型迁移过程中遇到的跨语种语义信息无法直接迁移的问题，引入了步骤(1)中的双语词向量；

所述步骤(3)目标语种实体抽取模型采用了基于双语词向量和模型迁移的强化学习机制，主要包括四个要素：状态、动作、策略和奖励机制；其中，

状态用来描述输入文本的特征，包括词性、位置以及词向量表示的语义特征；

动作用来描述迁移学习要完成的任务；本发明的任务是实现目标语种的实体抽取即实体标签，因此强化学习的动作即对目标语种打实体标签；

策略是将状态转化成动作的模型，此处采用步骤(2)所训练的模型，通过模型迁移方法，作为强化学习的策略函数输入；

奖励机制用来指定给模型正反馈和负反馈的场景，从而改进模型的策略函数；损失函数被用来衡量模型的表现，因此作为强化学习的奖励机制；损失函数越小表示模型表现越好，则产生正反馈，反之损失函数越大则为负反馈。