[发明专利]文本标点恢复方法及相关设备

权利要求书

1.一种文本标点恢复方法，其特征在于，包括：

获取待处理文本的特征信息；

将所述特征信息输入标点预测模型，得到输出结果；所述特征信息包括多个第一片段，所述输出结果包括所述第一片段的各个第一预测语句在所述第一片段中的位置、所述第一片段的各个第一预测语句的标点类别的概率和所述第一片段的各个第一预测语句的标点类别的置信度；

基于所述输出结果进行第一预测语句的冗余剔除，得到恢复标点的文本。

2.根据权利要求1所述的方法，其特征在于，所述标点预测模型通过以下过程获得：

获取训练数据集；所述训练数据集包括多个训练样本，所述训练样本包括多个第二片段、各个第二片段包含的语句在所述第二片段中的位置以及各个语句的标点类别；

利用所述训练数据集，训练初始模型，得到所述标点预测模型。

3.根据权利要求2所述的方法，其特征在于，利用所述训练数据集，训练初始模型，得到所述标点预测模型，包括：

将所述训练数据输入所述初始模型，输出预测结果；

根据所述预测结果和所述训练数据，计算位置误差损失、分类误差损失和置信度误差损失；

根据所述位置误差损失、所述分类误差损失和所述置信度误差损失，调整所述初始模型；

重复执行上述步骤，直至达到预设次数，得到所述标点预测模型。

4.根据权利要求3所述的方法，其特征在于，所述预测结果包括所述第二片段的各个第二预测语句在所述第二片段中的位置、所述第二片段的各个第二预测语句的标点类别的概率和所述第二片段的各个第二预测语句的标点类别的置信度；

若所述第二预测语句的位置为对应的第二片段的开头或结尾，所述位置误差损失表达为：

其中，i表示为第i个第二片段，j表示为第j个第二预测语句，x_i表示为第i个第二片段中的第j个第二预测语句的开头与第i个第二片段的中心的距离，表示为第i个第二片段中的第j个第二预测语句的开头与第i个第二片段的中心的预测距离，y_i表示为第i个第二片段中的第j个语句的结尾与第i个第二片段的中心的距离，表示为第i个第二片段中的第j个第二预测语句的结尾与第i个第二片段的中心的预测距离，表示为第i个第二片段中第j个第二预测语句是否与预测相关，λ_coord表示为所述位置误差损失的超参数，N表示为第二片段的数量，m表示为第二预测语句的数量；

若所述第二预测语句的位置为对应的第二片段的中心，所述位置误差损失表达为：

其中，i表示为第i个第二片段，j表示为第j个第二预测语句，x_i表示为第i个第二片段中的第j个第二预测语句的中心，表示为第i个第二片段中的第j个第二预测语句的预测中心，y_i表示为第i个第二片段中的第j个第二预测语句的开头或结尾与第i个第二片段中的第j个第二预测语句的中心的距离，表示为第i个第二片段中的第j个第二预测语句的开头或结尾与第i个第二片段中的第j个第二预测语句的中心的预测距离，表示为第i个第二片段中第j个第二预测语句是否与预测相关，λ_coord表示为所述位置误差损失的超参数N表示为第二片段的数量，m表示为第二预测语句的数量；

所述分类误差损失表达为：

其中，i表示为第i个第二片段，表示为第二预测语句的中心是否出现在第i个第二片段中，c表示为标点类别，p_i(c)表示为第i个第二片段中标点类别的概率，表示为第i个第二片段中为预测标点类别的概率，N表示为第二片段的数量；

所述置信度误差损失表达为：

其中，i表示为第i个第二片段，j表示为第j个第二预测语句，表示为第i个第二片段中第j个第二预测语句是否与预测相关，λ_noobj表示为所述置信度误差损失的超参数，C_i表示为第i个第二片段中的标点类别的置信度，表示为第i个第二片段中的预测标点类别的置信度，N表示为第二片段的数量，m表示为第二预测语句的数量。