[发明专利]文本纠错方法、装置、电子设备及存储介质

权利要求书

1.一种文本纠错方法，其特征在于，所述方法包括：

获取待处理文本，对所述待处理文本进行分词处理，得到分词集；

对所述分词集中的各个分词进行同音词查询，得到所述分词对应的同音词列表；

利用所述同音词列表中的同音词对所述分词集中的分词进行替换，得到多个标准文本，并分别计算每个所述标准文本的困惑度，选择所述困惑度大于或者等于预设的困惑阈值的标准文本为目标文本；

利用预构建的标准纠错模型对所述目标文本进行纠错处理，得到初始纠错结果；

利用预设的豁免词典剔除所述初始纠错结果中的豁免词，得到标准纠错结果；

其中，所述利用预构建的标准纠错模型对所述目标文本进行纠错处理，得到初始纠错结果之前，所述方法还包括：获取训练文本集，对所述训练文本集进行编码处理，得到训练向量集；对所述训练向量集进行特征提取处理，得到特征向量集；将所述特征向量集输入至预设文本纠错模型中的全连接层进行概率计算，得到预测概率值集；计算所述预测概率值集中预测概率值和预设的真实概率值之间的交叉熵损失值；根据所述交叉熵损失值调整所述预设文本纠错模型的内部参数，直到所述交叉熵损失值小于预设的损失阈值，得到标准纠错模型；

所述计算所述预测概率值集中预测概率值和预设的真实概率值之间的交叉熵损失值，包括：利用如下计算公式计算交叉熵损失值：

其中，L为交叉熵损失值，x为训练文本集中的训练文本，y为预设的真实概率值，a为预测概率值，n表示训练文本集中训练文本的总数；

所述利用预设的豁免词典剔除所述初始纠错结果中的豁免词，得到标准纠错结果，包括：判断所述初始纠错结果中是否存在与所述豁免词典中一致的豁免词；若所述初始纠错结果中存在与所述豁免词典中一致的豁免词，则将所述豁免词进行剔除，得到标准纠错结果；

所述豁免词典是针对各种不同的应用场景下的专有词汇进行统计汇总形成的设定词典。

2.如权利要求1所述的文本纠错方法，其特征在于，所述对所述待处理文本进行分词处理，得到分词集，包括：

删除所述待处理文本中的特殊词和停用词，得到初始文本；

将所述初始文本输入预设的基准分词器中，得到多个分词并汇总得到分词集。

3.如权利要求1所述的文本纠错方法，其特征在于，所述对所述分词集中的各个分词进行同音词查询，得到所述分词对应的同音词列表，包括：

获取预设的同音词词库；

根据所述同音词词库查询所述各个分词对应的同音词，并对所述同音词进行汇总，得到所述分词对应的同音词列表。

4.如权利要求1所述的文本纠错方法，其特征在于，所述分别计算每个所述标准文本的困惑度，包括：

利用如下计算公式分别计算每个所述标准文本的困惑度：

其中，PP(S)为所述困惑度，N为所述标准文本中的分词个数，w_i为第i个分词，p(w₁w₂…w_i-1)为分词w₁w₂…w_i-1出现的概率。

5.一种文本纠错装置，用于实现如权利要求1至4中任意一项所述的文本纠错方法，其特征在于，所述装置包括：

文本分词模块，用于获取待处理文本，对所述待处理文本进行分词处理，得到分词集；

同音词查询模块，用于对所述分词集中的各个分词进行同音词查询，得到所述分词对应的同音词列表；

困惑度计算模块，用于利用所述同音词列表中的同音词对所述分词集中的分词进行替换，得到多个标准文本，并分别计算每个所述标准文本的困惑度，选择所述困惑度大于或者等于预设的困惑阈值的标准文本为目标文本；

文本纠错模块，用于利用预构建的标准纠错模型对所述目标文本进行纠错处理，得到初始纠错结果，利用预设的豁免词典剔除所述初始纠错结果中的豁免词，得到标准纠错结果。