[发明专利]一种基于对抗多任务学习的统一语义性中文文本润色方法

说明书

本发明提供一种基于对抗多任务学习的统一语义性中文文本润色方法，其包括如下步骤：S1，通过润色范围划分模型确定润色范围；S2，对于润色范围插入的字符数进行遍历搜索，并使用掩码语言模型对其进行生成，将生成得到的一系列新句子使用位置打分模型进行打分；S3，根据打分结果筛选出最佳的句子。本发明具有推动统一性文本校对方法的研究过程进展、适合实际落地使用、在一定程度上确实改善人们的文本编辑体验等优点。

技术领域

本发明涉及计算机技术领域，具体涉及一种基于对抗多任务学习的统一语义性中文文本润色方法。

背景技术

长久以来，文本写作是人们工作生活中的重要基础组成部分。而在写作过程中不经意出现的拼写、语法错误会带给人们相当不便。文本校对工具响应这种核心需求应运而生。但是随着人工智能技术的发展以及人们对于此类工具的功能需求标准日益提高，当前文本校对方法正面临的割裂性障碍阻碍了整体文本校对方法的发展。

由于当前文本校对中缺少能够整体性处理不同粒度的文本错误的统一性方法，其中割裂性问题体现在，不同的校对方法通过组合得到的校对结果中，由于不同方法使用的顺序不同导致校对结果极为不稳定。而其根本原因在于文本语言中缺少可靠的统一特征。

具体的如表1所示，在WS中既包含语法上的错误也包含拼写上的错误，其中“取”处的错误为拼写错误，“金字”处的错误为语法错误。当我们首先或单独使用CSC进行纠错时，将“金字”中的“字”修改为“子”，得到与OS完全不同语义的SS，虽然具有一定的语义流畅性，但是与OS在语义上差别较大。当我们首先使用CGEC方法进行纠错时，CGEC得到的句子语义混乱，在补全缺失的“塔”后，需要CSC的配合才可能够得到OS。这样的不稳定的结果大大限制了当前文本校对任务在实际使用中的场景。

表1：

因此，有必要提供一种新的技术方案。

发明内容

为解决现有技术中存在的技术问题，本发明公开了一种基于对抗多任务学习的统一语义性中文文本润色方法，具体技术方案如下所述：

本发明提供一种基于对抗多任务学习的统一语义性中文文本润色方法，包括如下步骤：

S1，通过润色范围划分模型确定润色范围；

S2，对于润色范围插入的字符数进行遍历搜索，并使用掩码语言模型对其进行生成，将生成得到的一系列新句子使用位置打分模型进行打分；

S3，根据打分结果筛选出最佳的句子。

进一步地，对抗多任务学习用以训练润色框架的掩码语言模型(MLM,MaskLanguage Model)和位置打分模型(PSM,Position Scorer Model)，分别用来对于特定位置的字符进行预测和对于特定位置的结果进行打分；在训练得到两个模型之后，使用润色范围划分模型(SDM,Scale Decision Model)对于润色位置进行划分，调用掩码语言模型和位置打分模型对于句子进行润色。

进一步地，其包括生成模块，在生成对抗学习阶段，生成模块加载实时调整的掩码语言模型，根据不同的语义相关度得到较为近似的对抗数据并替换得到新的句子，位置打分模型对于替换后的句子进行判别打分。

进一步地，所述生成模块采用对抗生成的方式对于训练数据进行生成，使用掩码语言模型的排序结果对于训练数据进行动态生成，具体的动态生成策略公式如下：其中对于句子S的第i个字符，rank_i是指掩码语言模型对于该位置的排序结果，k_i∈(0,1)是指该位置的随机种子，其中c为常量，通过控制c能够调整生成的字符在字表中排序的范围，之后根据rank_i在RANK_ADV之前的生成字符设置为对抗样本，在之后的字符设置为普通错误样本。