[发明专利]一种文本语言关联关系标注方法和装置

说明书

本发明公开一种文本语言关联关系标注方法和装置。利用文本语言各信息抽取子任务的紧密关联性，设计一种不依赖具体模型的复合标注方法，能够自然地融合多种文本语言信息抽取任务，实现多种文本语言关联任务的联合学习与一体化的训练，如支持命名实体识别与命名实体标准化的联合学习、支持命名实体识别与实体关系抽取的联合学习、支持命名实体识别与实体消歧的联合学习等。本发明提出的文本语言关联关系复合标注方法，充分地利用了文本语言信息抽取的各子任务之间的紧密关联性，实现完全的联合学习，使得各关联任务之间可以信息共享相互促进，总体提升文本语言信息抽取的准确率与召回率。

技术领域

本发明属于信息技术领域，涉及利用计算机智能技术辅助文本语言的信息抽取。具体涉及到利用文本语言各信息抽取子任务的紧密关联性，设计一种复合标注方法以自然地融合多种文本语言信息抽取任务，实现多种文本语言关联任务的联合学习与一体化的训练，使得各关联任务之间可以信息共享相互促进，提升文本语言信息抽取的准确率与召回率。

背景技术

文本语言作为自然语言的主要表现形式，是信息的重要载体。在如今的信息大爆炸时代，如何从海量的非结构化的文本中抽取出有用的结构化信息，是数据智能的关键。文本语言的信息抽取包括多个子任务，如命名实体识别、命名实体标准化、实体关系抽取等。这些子任务之间存在着紧密的关联性，但是传统的方法把这些任务视为独立的任务，分开进行(Peng Z,Sun L,Han X.SIR-ReDeeM:a chinese named entity recognition anddisambiguation system using a two-stage method[C]//Proceedings of the SecondCIPS-SIGHAN Joint Conference on Chinese Language Processing.2012:115-120.)，使得这些任务之间无法信息共享，互相补充。

目前，有少部分的研究者开始注意到文本语言信息抽取子任务之间的关联性，LiuX等(Liu X,Zhou M,Wei F,et al.Joint inference of named entity recognition andnormalization for tweets[C]//Proceedings of the 50th Annual Meeting of theAssociation for Computational Linguistics:Long Papers-Volume 1.Associationfor Computational Linguistics,2012:526-535.)提出了一种基于概率图的联合学习命名实体识别与标准化的方法，通过引入二元变量因子连接命名实体识别与命名实体标准化这两个任务。这种基于概率图的联合学习方法不是神经网络架构的，依赖于特征工程，繁琐耗时且难以自适应不同的语料。Zheng S等(Zheng S,Hao Y,Lu D,et al.Joint entityand relation extraction based on a hybrid neural network[J].Neurocomputing,2017,257:59-66.)提出一种命名实体识别与实体关系抽取的混合框架，这种联合学习方式虽然基于神经网络，但是这是一种不彻底的联合学习。在训练阶段，先进行命名实体识别相关参数的优化，再进行实体关系抽取的训练。这种两阶段的训练方式不能达到全局的最优化。如何实现不依赖于具体机器学习与深度学习方法，且能够一体化训练，是一个非常有挑战的问题。

发明内容

针对上述问题，本发明的目的在于提供一种模型独立的、支持一体化训练的通用的联合学习策略，该策略不依赖于具体的模型，同时支持多任务的一体化训练。

为实现上述目的，本发明采用如下技术方案：

一种文本语言关联关系标注方法，其步骤包括：

1)根据文本语言相关任务的需求，确定至少两种相关联的文本语言的信息抽取子任务；

2)分析文本语料，定义各信息抽取子任务的标签集；