[发明专利]低资源条件下融合多策略数据增强的依存句法分析方法

权利要求书

1.低资源条件下融合多策略数据增强的依存句法分析方法，其特征在于：所述方法的具体步骤如下：

Step1、对获取的依存句法分析数据进行处理，再获取若干种不同语言的词语的同义信息，根据同义信息构建同词性同义词典；

Step2、根据构建的同义词典，对数据集中的语料通过同义词直接替换的方式对其进行数据增强，获得若干种不同语言依存句法分析扩增的训练数据；

Step3、根据构建的同义词典，得到训练数据中词语对应的同词性的同义词，通过多种mixup数据增强的方式在双仿射模型的Embedding阶段后、BiLSTM阶段后或经过MLP阶段后的不同模型位置对训练数据中原词与同义词进行mixup以产生虚拟新词，利用虚拟新词进行训练以及打分器打分；

所述Step3包括：

采用词语向量与词性标注向量拼接的形式作为模型输入，原词的输入向量为对应同义词的输入向量为其中e(w_i)和e(d_i)分别对应原词向量和同义词向量，e(t_i)为词性标注向量；

在Embedding阶段后融入mixup；

在BiLSTM阶段后融入mixup；

在MLP阶段后融入mixup；

所述在Embedding阶段后融入mixup的具体步骤如下：

Step3.2.1、经过Embedding过程后得到x_原和x_同，二者经过mixup的过程得到新的训练数据：

其中，w₁和w₂分别表示x_原和x_同，为新得到的虚拟的训练数据，λ是遵从beta分布，即λ～Beta(α,α),α∈(0,∞),λ∈[0,1]得到的参数；

Step3.2.2、对于没有同义词的单词，w₁和w₂都用x_原表示，经过同样的mixup过程产生训练数据；

Step3.2.3、得到的带有的新的训练数据经过BiLSTM得到特征r_i，使得每个输入元素都能联系上下文；

Step3.2.4、r_i经过两个不同的用于降维的多层感知机MLP后分别得到特征和

Step3.2.5、和经过双仿射打分器获得分数矩阵；

其中，矩阵H是经过MLP二次编码出来的特征向量h的堆栈形式，是分数矩阵；

所述在BiLSTM阶段后融入mixup的具体步骤如下：

Step3.3.1、原词和同义词一起经过Embedding过程后得到x_原和x_同，再一起经过BiLSTM阶段得到x_原的带有上下文特征的r_i和x_同的带有上下文特征的r_i′，之后二者经过mixup的过程得到新的训练数据；

其中，w₁和w₂分别表示r_i和r_i′，为新得到的虚拟的特征，λ_i是遵从beta分布，即λ～Beta(α,α),α∈(0,∞),λ∈[0,1]得到的参数，为每一对参与mixup的特征分配一个λ_i；

Step3.3.2、对于没有同义词的单词，w₁和w₂都用r_i表示，经过同样的mixup过程产生特征；

Step3.3.3、得到的带有的新的特征后，后续过程同Step3.2.4以及Step3.2.5；

所述在MLP阶段后融入mixup的具体步骤如下：

Step3.4.1、原词和同义词一起经过Embedding过程后得到x_原和x_同，再一起经过BiLSTM阶段得到x_原的带有上下文特征的r_i和x_同的带有上下文特征的r_i′，之后一起经过两个不同的用于降维的多层感知机MLP，原词得到对应特征和同义词得到对应特征和最后在这个阶段分别mixup得到进入打分器的新特征；

其中，新得到的和为新的虚拟的特征；λ_i是遵从beta分布，即λ～Beta(α,α),α∈(0,∞),λ∈[0,1]得到的参数，为每一对参与mixup的特征分配一个λ_i；

Step3.4.2、对于没有同义词的单词，和与和是一致的；

Step3.4.3、得到新的训练数据后，打分过程同Step3.2.5。