[发明专利]低资源条件下融合多策略数据增强的依存句法分析方法

说明书

本发明涉及低资源条件下融合多策略数据增强的依存句法分析方法，属于自然语言处理领域。本发明包括：构造泰语、越南语和英语的同词性同义词典；利用同义词典对三种语言的小规模UD(Universal Dependencies treebanks)数据集进行同义词替换扩充训练数据；利用多种mixup数据增强策略在模型训练不同阶段对训练数据中原词与同义词进行mixup产生虚拟新词进行后续训练。本发明针对低资源依存句法分析问题提出多种数据增强策略。提出的方法通过同义词替换有效扩充了训练数据，缓解了未知词问题。通过多种mixup的数据增强策略，有效缓解了模型过拟合问题，提高模型的泛化能力。

技术领域

本发明涉及低资源条件下融合多策略数据增强的依存句法分析方法，属于自然语言处理领域。

背景技术

在自然语言处理中，依存句法分析旨在识别句子中词与词之间的句法依赖关系。依存句法能为信息抽取、自动问答和机器翻译等任务提供句法特征，提高模型性能。

尽管已有的依存句法分析方法在特征编码、依存关系打分和解码等方面开展了大量的研究工作，也有效提升了依存句法分析的效果。但是在低资源条件下，已有模型和方法的性能很难获得很好的分析结果。这一问题在泰语、越南语等低资源语言上尤为明显。训练语料的缺少会带来严重的未知词和模型过拟合问题。以越南语的UD(UniversalDependencies treebanks)数据集为例，测试集的未知词比例为51.7％。据观察，在低资源条件下，模型很容易出现过拟合问题，导致模型的训练准确率和测试准确率差距巨大。

发明内容

本发明提供了低资源条件下融合多策略数据增强的依存句法分析方法，以用于对泰语、越南语、小规模英语等低资源条件下依存句法分析，解决了由于数据语料稀少、未知词比例过高以及模型过拟合等问题导致依存句法分析效果不佳的问题。

发明技术方案：低资源条件下融合多策略数据增强的依存句法分析方法，所述方法的具体步骤如下：

Step1、对从UD数据集的泰语、越南语和小规模英语语料库中获取的依存句法分析数据进行处理，从Babelnet网站中获取三种语言的词语的同义信息，根据同义信息构建同词性同义词典。

Step2、根据构建的同义词典，对UD数据集中的语料通过同义词直接替换的方式对其进行数据增强，获得三种语言依存句法分析扩增的训练数据。

Step3、根据构造的同义词典，得到训练数据中词语对应的同词性的同义词，通过多种mixup数据增强的方式在双仿射模型编码后、BiLSTM后以及经过MLP层后的不同模型位置对训练数据中原词与同义词进行mixup以产生虚拟新词，利用虚拟新词进行训练以及打分器打分。

所述步骤Step1的具体步骤为：

Step1.1、统计泰语、越南语以及英语三种语言训练数据中的词语，针对这些词语从Babelnet网站中采集相应的同义词信息，包括同义词和对应的词性。

Step1.2、对同义词信息进行过滤筛选，过滤筛选的方式如下所示：(1)、对获取的同义词按照词性进行归类划分，用于保证后续基于同义词典进行替换时，替换的单词与原词词性一致，(2)、删除同义词典里词意并不完全相近的词。

所述步骤Step2的具体步骤为：

Step2.1、遍历训练数据中的词，与同义词典进行对比匹配。

Step2.2、根据词性筛选匹配到的同义词，并将同义词直接替换原词，若一个句子中有多个词有同义词，则替换成多个同义句。扩充后的训练数据作为新的数据集进行训练。

作为本发明的优选方案，所述步骤Step3的具体步骤如下：