[发明专利]一种基于对抗多任务学习的统一语义性中文文本润色方法

权利要求书

1.一种基于对抗多任务学习的统一语义性中文文本润色方法，其特征在于，包括如下步骤：

S1，通过润色范围划分模型确定润色范围；

S2，对于润色范围插入的字符数进行遍历搜索，并使用掩码语言模型对其进行生成，将生成得到的一系列新句子使用位置打分模型进行打分；

S3，根据打分结果筛选出最佳的句子。

2.根据权利要求1所述的基于对抗多任务学习的统一语义性中文文本润色方法，其特征在于，对抗多任务学习用以训练润色框架的掩码语言模型(MLM,Mask Language Model)和位置打分模型(PSM,Position Scorer Model)，分别用来对于特定位置的字符进行预测和对于特定位置的结果进行打分；在训练得到两个模型之后，使用润色范围划分模型(SDM,Scale Decision Model)对于润色位置进行划分，调用掩码语言模型和位置打分模型对于句子进行润色。

3.根据权利要求2所述的基于对抗多任务学习的统一语义性中文文本润色方法，其特征在于，其包括生成模块，在生成对抗学习阶段，生成模块加载实时调整的掩码语言模型，根据不同的语义相关度得到较为近似的对抗数据并替换得到新的句子，位置打分模型对于替换后的句子进行判别打分。

4.根据权利要求3所述的基于对抗多任务学习的统一语义性中文文本润色方法，其特征在于，其包括交错权重模块，所述交错权重模块结合生成器和判别器的结果生成交错的两组权重，交叉的作用于判别器和生成器上，降低不良对抗数据对于结果调整的强度，能够在一定程度上规避混淆文本对于训练过程造成的不良影响。

5.根据权利要求3所述的基于对抗多任务学习的统一语义性中文文本润色方法，其特征在于，所述生成模块采用对抗生成的方式对于训练数据进行生成，使用掩码语言模型的排序结果对于训练数据进行动态生成，具体的动态生成策略公式如下：rank_i＝其中对于句子S的第i个字符，rank_i是指掩码语言模型对于该位置的排序结果，k_i∈(0,1)是指该位置的随机种子，其中c为常量，通过控制c能够调整生成的字符在字表中排序的范围，之后根据rank_i在RANK_ADV之前的生成字符设置为对抗样本，在之后的字符设置为普通错误样本。

6.根据权利要求5所述的基于对抗多任务学习的统一语义性中文文本润色方法，其特征在于，根据数据的难度将c设置为1000，表示为生成的字符在每次分类结果的前1000位字符中进行选择；将RANK_ADV设置为20，表示每次分类结果前20位为语义相似度较高的对抗样本。

7.根据权利要求4所述的基于对抗多任务学习的统一语义性中文文本润色方法，其特征在于，所述交错权重模块包括两个不同的权重W_G和W_D，

其中W_G来自生成器，根据生成模块得到普通错误时，设置该位置权重为1；对于对抗替换位置，在掩码语言模型中，输出向量表示字表中不同字符对应的分类数值，依据正确的分类结果和不同使用生成字符的分类结果和当前位置分类结果进行计算得到W_G，具体计算公式为：

对于i位置，d_i是指该位置的ML模型的输出向量，rank_i为对抗样本在分类结果排序中的序号，SEED_g是通过预设得到的比例；

W_D来自于判别器，判别器对于不同位置进行打分，当打分越高说明该位置语义越不恰当，通过将原句和生成的错误句子输入判别器中，根据二者打分结果得到这一部分的权重，具体计算公式为：

score_origin和score_replaced分别表示将原句输入后该位置的得分和对抗替换后该位置的得分。