[发明专利]基于双语词向量的低资源语种实体抽取方法

说明书

本发明提供一种基于双语词向量的低资源语种实体抽取方法，在低资源语种实体抽取任务中考虑语种的语义特征，并解决低资源语种实体抽取的无监督学习问题。包括以下三个阶段：步骤(1)基于可比语料库的双语词向量的构建；步骤(2)源语种实体抽取模型构建；步骤(3)目标语种实体抽取模型构建。与现有技术相比，本发明首次将强化学习和双语词向量引入低资源语种实体抽取任务中，解决低资源语种缺少实体抽取标注语料库的问题。通过双语词向量，有效表示跨语种文本的词语义特征，解决低资源语种语义信息匮乏及模型迁移过程中语义信息无法直接进行语种间转移的问题。同时，本发明采用强化学习的思想，实现了低资源语种实体抽取任务的无监督学习。

技术领域

本发明涉及人工智能与自然语言处理领域的信息抽取领域，具体涉及一种基于多种语言的实体抽取方法。

背景技术

实体抽取旨在从网络空间中非结构化的文本中挖掘用户关注的知识，如人名、地名、机构名等，或具有领域特征的实体。对于网络中存在较广泛以及研究者较多的语种如英文而言，已存在大量标注好的实体抽取训练语料库，可采用基于机器学习和深度学习的模型进行有监督的实体抽取。而网络空间中同样存在大量的低资源语种，如中文，日文等，具有较少的标注语料库，并且手动标注训练数据所消耗的人力和时间成本较高，因此传统的有监督的实体抽取方式并不适用于低资源语种。

为了解决低资源语种标注语料缺乏的问题，一种有效的方法是通过资源丰富的源语种来帮助低资源语种来丰富其相关知识。例如采用基于跨语种词典翻译的方式进行来进行实体翻译，从而实现低资源语种的实体抽取。然而仅基于跨语种词典翻译的方法因依赖于第三方翻译接口、一词多义、翻译不准确等缺点会导致基于翻译的信息抽取命中率较低并且会产生错误传递等问题。因此基于跨语种词向量的方式被提出。基于词向量的方法是将词表示为连续、稠密的低维度向量表示，作为理解语言的基本表征。词向量具有非常好的属性，易于操作，可有效表示词的特征，因此被广泛使用到自然语义处理的各项任务中。利用两种语言的单语语料训练的词向量空间存在近似同态性的特征，可以使用线性映射把两个语种的向量空间联系起来，从而实现跨语种的语义映射。模型迁移方法是低资源语种信息抽取的有效方法。模型迁移方法即在资源丰富的语种语料上学习一个模型，将其迁移到目标低资源语种上。对于词性、距离等特征，可以在不同语种间直接转换，而对于词义特征，则无法直接转换。

在现有技术中，采用模型迁移的方法对低资源语种的实体抽取没有考虑低资源语种的语义特征，同时，在跨语种词向量构建方面，也大都依赖于平行语料库，对于低资源语种缺少平行语料库的问题也无法有效解决。另外，如何实现低资源语种实体抽取的无监督自学习也是业界亟待解决的重要问题。

发明内容

本发明提供一种基于双语词向量的低资源语种实体抽取方法，在低资源语种实体抽取任务中考虑语种的语义特征，并解决低资源语种实体抽取的无监督学习问题。

技术解决方案

为实现上述目标，本发明的技术方案是：

一种基于双语词向量的低资源语种实体抽取方法，包括以下三个阶段：(如图1所示)

步骤(1)基于可比语料库的双语词向量的构建：

利用源语种与低资源目标语种所构成的双语可比语料库来构建双语词向量，以表示跨语种词的语义特征；

步骤(2)源语种实体抽取模型构建：

利用源语种的实体抽取标注训练集，融合基于位置线性衰减的深度学习方法，训练实体抽取模型；

步骤(3)目标语种实体抽取模型构建：

将源语种的实体抽取模型进行模型迁移，用到目标语种文本资源上，并引入双语词向量来丰富目标语种的语义特征，引入强化学习框架来实现目标语种的无监督自学习。