[发明专利]基于零代词补齐的汉越数据增强方法

说明书

本发明涉及基于零代词补齐的汉越数据增强方法，属于自然语言处理技术领域。本发明包括步骤：构建带零代词标签的汉语、越南语单语篇章数据集；使用Transformer共享编码端融合正文和上下文，再将隐状态输入CRF模型中得到代词缺失位置标记；利用代词缺失位置收集词汇、句法、上下文特征集，再将零代词特征集作为外部知识辅助零代词预测分类任务。最后得到补齐代词的汉语、越南语单语数据。本发明所提汉越数据增强方法，通过补齐省略的代词，补齐句法成分，有效提升汉越平行数据集的质量。此外，借助增强的语料，汉越机器翻译性能得到了一定的改善。

技术领域

本发明涉及基于零代词补齐的汉越数据增强方法，属于自然语言处理技术领域。

背景技术

神经机器翻译是典型的数据驱动模型，平行语料库的规模和质量对机器翻译的性能会产生重要的影响。然而现阶段汉语-越南语公开数据集极少，往往只能通过网络爬取的方式获取，并且还需要专业人士的专业知识对其进行筛选、标注等预处理工作。其规模提升所需要的成本很高。因此研究针对汉越平行语料库的汉越数据增强方法具有很高的价值。

汉语和越南语都属于代词脱落语言，这种语言的特性就是当代词的身份可以从上下文中推断出来时，它会省略这些代词，以使句子紧凑而易于理解。我们把这些省略的代词称为零代词。这些省略对人类而言不是问题，因为我们可以很容易的从全局的角度来推测省略的主语。但是对于机器翻译而言，这种代词的缺失，会使得句法成分不完整，给NMT机器翻译带来很大的问题，甚至会造成一些错误的学习训练。

针对训练数据含有非正式用语的汉越平行语料，常出现省略代词的现象。因此可以通过对低质量语句的缺失代词进行补齐操作，得到一些高质量的汉越双语平行语料。前人在零代词补齐问题上已经做了一些相关的研究。或是通过手动标注，将缺失代词补齐，又或是尝试使用规则的方法恢复省略的代词。还有利用平行语料库的对齐信息自动标注出省略代词。虽然Transformer可以利用多头注意力机制来捕获更多的语义信息，然后对于省略了的代词，也往往只能翻译出简单的部分内容。对于复杂句子中的省略代词翻译往往不如人意。

发明内容

本发明提供了基于零代词补齐的汉越数据增强方法，将零代词的补齐工作主要分为零代词位置预测和零代词预测。第一步先确实零代词位置信息，第二步再预测缺失的是哪个代词。零代词位置预测任务使用Transformer+CRF的模型结构来标注出缺失位置。零代词预测任务使用Transformer的编码端来表征输入，同时融合语法、句法和上下文信息来提升代词信息表征，增强零代词预测准确率。

本发明的技术方案是：基于零代词补齐的汉越数据增强方法，所述方法的具体步骤如下：

Step1、数据收集处理：通过网络爬虫技术爬取收集并构建英汉、英越双语平行数据，利用矩阵对齐方法找出汉语、越南语中缺失的代词，并利用英语平行语料中的对应代词，将汉语、越南语中缺失的代词标注补齐，得到零代词信息标注的汉语、越南语单语数据集；缺失的代词即为零代词；

Step2、进行零代词补齐，零代词补齐包括零代词位置预测、零代词特征集生成和零代词预测，把预测出的零代词放入源句子进行零代词补齐从而对汉越数据进行增强：

零代词位置预测通过词嵌入和位置嵌入分别对正文和上下文进行特征编码，利用Transformer编码器提取特征，其中正文和上下文共享编码端以减少参数；利用上下文注意力机制对正文表征约束，将Transformer编码器得到隐状态输入CRF模型中进行标注，得到零代词位置信息；

零代词特征集生成是利用零代词位置信息生成与零代词相关的词汇、句法、上下文特征集合；

零代词预测是重新利用Transformer编码端对正文进行编码，同时与零代词特征集做注意力计算，以提升零代词信息表征，最后将注意力计算后的输入表征通过一个多分类器模块，经过线性变换和归一个处理得到分类结果，即零代词预测结果。