[发明专利]基于零代词补齐的汉越数据增强方法

权利要求书

1.基于零代词补齐的汉越数据增强方法，其特征在于：所述方法的具体步骤如下：

Step1、数据收集处理：通过网络爬虫技术爬取收集并构建英汉、英越双语平行数据，利用矩阵对齐方法找出汉语、越南语中缺失的代词，并利用英语平行语料中的对应代词，将汉语、越南语中缺失的代词标注补齐，得到零代词信息标注的汉语、越南语单语数据集；缺失的代词即为零代词；

Step2、进行零代词补齐，零代词补齐包括零代词位置预测、零代词特征集生成和零代词预测，把预测出的零代词放入源句子进行零代词补齐从而对汉越数据进行增强：

零代词位置预测通过词嵌入和位置嵌入分别对正文和上下文进行特征编码，利用Transformer编码器提取特征，其中正文和上下文共享编码端以减少参数；利用上下文注意力机制对正文表征约束，将Transformer编码器得到隐状态输入CRF模型中进行标注，得到零代词位置信息；

零代词特征集生成是利用零代词位置信息生成与零代词相关的词汇、句法、上下文特征集合；

零代词预测是重新利用Transformer编码端对正文进行编码，同时与零代词特征集做注意力计算，以提升零代词信息表征，最后将注意力计算后的输入表征通过一个多分类器模块，经过线性变换和归一个处理得到分类结果，即零代词预测结果。

2.根据权利要求1所述的基于零代词补齐的汉越数据增强方法，其特征在于：所述Step1的具体步骤为：

Step1.1、通过网络爬虫技术爬取英汉、英越双语字幕文件，解析字幕文件，对语料初步预处理，构建英汉、英越双语平行数据；

Step1.2、利用英语不省略代词的特性，采用有监督的代词补齐方法；通过词矩阵对齐找出汉语、越南语中缺失的代词，并利用英语平行语料中的对应代词，将汉语、越南语中缺失的代词补齐；

Step1.3、采用人工标注的方法，对补齐了代词的汉语、越南语打上标签；单词的标签一共只有两种L＝{D,N}，分别表示缺失代词和没有缺失代词，将代词缺失的后一个单词位置标注为D，其他单词都标注为N。

3.根据权利要求1所述的基于零代词补齐的汉越数据增强方法，其特征在于：所述Step2中，零代词位置预测包括：

Step2.1、零代词位置预测的任务是找到句子中是否缺失代词，并将代词缺失位置标注出来；

设X＝x⁽¹⁾,..,x^(k),..,x^(K)表示K个源句子组成的源语言文档，表示第k个源句子包含I个词；使用transformer编码模块对正文的特征嵌入进行编码；为了能够利用序列的顺序，在编码模块中将位置编码添加到词嵌入表征中，位置编码与词嵌入表征具有相同的维数，编码模块核心是自注意力机制，多头注意力模块计算时需要将输入表征分别处理成Q、K、V，具体如下：

E＝E(x₁,x₂,...,x_I) (1)

E＝Q＝K＝V (2)

其中，E为正文中当前句的词嵌入表征，d表示正文中当前句的词向量维度，Q,K,V∈R^I×d分别为查询向量、键向量、值向量，为缩放因子；

多头注意力通过不同的线性投影将Q、K、V进行h次线性投影，然后h次投影并行执行缩放点积注意，最后将这些注意结果串联起来再次获得新的表示；

head_i＝Attention(QW_i^Q,KW_i^K,VW_i^V) (4)

H＝MultiHead(Q,K,V)＝Concat(head₁,head₂,…,head_h)W^O (5)

其中，H∈R^I×d为正文编码后的输出；W^O∈R^d×d为训练的参数，d_k∈d/h；

利用上下文编码模块进行上下文特征编码：

与标准的Transformer编码器不同的是，上下文编码模块多了一个多头上下文注意力子层来融合上下文信息；为了减少计算成本，采用共享编码器的结构；编码器先编码当前句上下文，上下文注意力子层不参与此过程，第二步编码当前句时，当前句自注意力子层和上下文注意力子层同时参与计算利用上下文信息约束正文中当前句的表征，上下文注意力子层的输入K_Con，V_Con来自于上下文的编码输出，Q来自于当前句的注意力子层的输出，当前句的编码输出作为隐状态进行下一步计算；

H₂＝Attention(Q,K_Con,V_Con) (6)

其中H₂表示上下文注意力模块输出隐状态；再将进行一个前馈神经网络的变换，最后将隐状态表征放入到CRF模型中，进行一个序列标注的工作，最后得到一个标签序列Y＝(y₁,y₂,y₃,...,y_t,...,y_n)，其中每个y_t对应着每个单词x_t的标签；单词的标签一共只有两种L＝{D,N}，分别表示缺失代词和没有缺失代词，将代词缺失的后一个单词位置标注为D，其他单词都标注为N，最终将预测的结果和真实的标签计算损失。