[发明专利]一种基于编辑方法的文本对比学习纠错系统、方法及装置

权利要求书

1.一种基于编辑方法的文本对比学习纠错系统，用于对源文本进行文本纠错，其特征在于，包括编码器、解码器A、解码器B和编辑算法模块；

所述编码器用于将源文本转化为表示向量，所述编码器通过正文本样例与负文本样例训练得到，并利用对比损失公式，拉近相似正文本样例表示向量之间的距离，扩大非相似样本之间的表示向量距离，并将表示向量对齐，得到表示向量；

所述解码器A用于对表示向量进行操作预测t与结束位置预测p，得到文本操作序列和文本结束位置序列；所述解码器B用于对表示向量进行替换内容预测r，得到文本替换内容序列；

所述编辑算法模块根据解码器A与解码器B得到的文本操作序列、文本结束位置序列和文本替换内容序列进行文本编辑合成，通过文本操作序列选择对应执行操作，通过文本结束位置序列选择对应执行操作位置，通过文本替换内容序列在文本对应位置按照对应操作填充替换内容，得到目标文本，完成文本纠错。

2.根据权利要求1所述的一种基于编辑方法的文本对比学习纠错系统，其特征在于，所述编码器、解码器A和解码器B均通过Transformer模块进行设置，并通过已标注训练样本进行训练得到预测模型。

3.根据权利要求1所述的一种基于编辑方法的文本对比学习纠错系统，其特征在于，对比损失训练公式如下：

其中，N表示训练样本数，(h_i，h’_i)表示正样本句子对；(h_i，h_j)表示负样本句子对；(h_i，h’_j)表示扩展的负样本句子对；i与j表示同批不同类的数据。

4.一种基于编辑方法的文本对比学习纠错方法，运用于如权利要求1至权利要求3任意一项所述的一种基于编辑方法的文本对比学习纠错系统中，其特征在于，将源文本的文本纠错任务分割为操作预测t、结束位置预测p和替换内容预测r，并通过对应解码器进行预测；所述操作预测t和结束位置预测p通过解码器A进行，所述替换内容预测r通过解码器B进行。

5.根据权利要求4所述的一种基于编辑方法的文本对比学习纠错方法，其特征在于，通过以下步骤实现对原文本的对比学习纠错：

S1获取待纠错的源文本；

S2将源文本送入编码器进行编码，得到表示向量；

S3将表示向量送入解码器A并进行操作预测t，得到文本操作序列；

S4将文本操作序列和表示向量共同送入解码器A并进行结束位置预测p，得到文本结束位置序列；

S5将表示向量、文本操作序列和文本结束位置序列送入解码器B并进行替换内容预测r，得到文本替换内容序列；

S6将表示向量、文本操作序列、文本结束位置序列和文本替换内容序列送入编辑算法模块并进行文本算法编辑，得到目标文本；

S7根据所得目标文本，完成最终的文本纠错与替换。