[发明专利]半监督文本简化模型训练方法和系统

权利要求书

1.一种半监督文本简化模型训练方法，包括：

建立复杂句到简单句的转化模型Comp2Simp和简单句到复杂句的回译模型Simp2Comp；

分别对Comp2Simp和Simp2Comp进行初始化；

利用初始化后的模型Simp2Comp将简单句x转化为复杂句C(x)以构造第一平行语料对(C(x),x)，利用初始化后的模型Comp2Simp将复杂句y转化为对应的简单句S(y)以构造第二平行语料对(S(y),y)；

利用所述第一平行语料对(C(x),x)对初始化后的模型Comp2Simp的进行有监督训练以更新模型Comp2Simp的参数，利用所述第二平行语料对(S(y),y)对初始化后的模型Simp2Comp的进行有监督训练以更新模型Simp2Comp的参数，从而完成第一轮迭代；

分别利用参数更新后的Simp2Comp和参数更新后的Comp2Simp重复执行上述构造平行语料对和更新模型参数的过程完成后续迭代。

2.根据权利要求1所述的方法，其中，Simp2Comp和Comp2Simp采用编码器-译码器架构，共享相同的编码器，使用各自独立的译码器，所述分别对Simp2Comp和Comp2Simp进行初始化包括：

采用第一降噪自编码方式对Comp2Simp进行训练，对x进行第一加噪处理得到x’，并使用编码器将x’编入语义空间，而使用第一译码器将x从所述语义空间中进行解码和恢复；

采用第二降噪自编码方式对Simp2Comp进行训练，对y进行第二加噪处理得到y’，并使用所述编码器将y’编入所述语义空间，而使用第二译码器将y从所述语义空间中进行解码和恢复。

3.根据权利要求2所述的方法，其中，所述对x进行第一加噪处理得到x’包括将不属于x的额外词汇混合到x中并进行重排序得到加噪输入x’，所述对y进行第二加噪处理得到y’包括对于输入y随机去除y中的数个单词得到y’。

4.根据权利要求2所述的方法，其中，所述更新模型Simp2Comp的参数和所述更新模型Comp2Simp的参数包括：

使用交叉熵损失和策略梯度损失来更新模型Simp2Comp的参数和模型Comp2Simp的参数。

5.根据权利要求4所述的方法，其中，所述交叉熵损失为最小化交叉熵损失L_ce，计算公式如下：

其中，E表示在各自句子空间中交叉熵的期望值，P_c→s表示复杂句到简单句的转换模型，P_s→c表示简单句到复杂句的转换模型，S表示简单句x的句子空间，C表示复杂句y的句子空间。

6.根据权利要求5所述的方法，其中，所述策略梯度损失L_pg的计算公式如下：

其中，为将C(x)输入模型Comp2Simp之后对输出进行概率采样后得到的简单句，为将S(y)输入模型Simp2Comp之后对输出进行概率采样后得到的复杂句，为通过贪心算法最大化概率后得到的简单句，为通过贪心算法最大化概率后得到的复杂句，R_s和R_c分别表示与S和C对应的调和平均函数。

7.根据权利要求6所述的方法，其中，最终损失是交叉熵损失和策略梯度损失的加权和，计算公式如下：