[发明专利]文本纠错方法、装置、设备及介质

说明书

本申请涉及人工智能技术领域，揭示了一种文本纠错方法、装置、设备及介质，其中方法包括：根据目标词典对引擎纠错后的文本进行分词及错误用词判断得到第一潜在错误用词数据；将引擎纠错后的文本输入预训练模型进行替换概率预测得到替换概率预测结果，根据替换概率预测结果确定第二潜在错误用词数据；根据引擎纠错后的文本、第一潜在错误用词数据和第二潜在错误用词数据确定候选替换句得到多个待评分的候选替换句；分别将每一个待评分的候选替换句输入统计语言模型进行候选替换句评分得到多个候选替换句评分结果；根据多个候选替换句评分结果确定目标候选替换句。从而实现了对规则以内和规则以外的错误情况的识别，提高了文本纠错的准确性。

技术领域

本申请涉及到人工智能技术领域，特别是涉及到一种文本纠错方法、装置、设备及介质。

背景技术

文本纠错指的是对自然语言在使用过程中出现的问题自动进行识别和纠正，比如，用字错误(痛点写成通点)、语法错误(的地得混用)、用词搭配错误(辅助决策写成扶助决策)、多字、漏字等。

因为特定场景的相关术语、专业术语，比如，机构的缩写：广东分公司写成广分，公司内部的缩写用语：会议纪要写成会纪，导致采用通用语料(如维基百科中文语料、人民日报中文语料)训练出的文本纠错模型的纠错效果不会太好。

目前已有的纠错技术针对特定场景大都结合规则引擎，但是仅依赖规则引擎会造成文本纠错模型覆盖率有限，针对规则以外的错误情况无法处理，同时规则引擎也会容易引起误判。

发明内容

本申请的主要目的为提供一种文本纠错方法、装置、设备及介质，旨在解决现有技术的纠错技术仅依赖规则引擎会造成文本纠错模型覆盖率有限，针对规则以外的错误情况无法处理，同时规则引擎也会容易引起误判的技术问题。

为了实现上述发明目的，本申请提出一种文本纠错方法，所述方法包括：

获取待纠错文本，将所述待纠错文本输入纠错规则引擎进行纠错处理，得到引擎纠错后的文本；

获取目标词典，根据所述目标词典对所述引擎纠错后的文本进行分词及错误用词判断，得到第一潜在错误用词数据；

将所述引擎纠错后的文本输入预训练模型进行替换概率预测，得到替换概率预测结果，根据所述替换概率预测结果，确定第二潜在错误用词数据；

根据所述引擎纠错后的文本、所述第一潜在错误用词数据和所述第二潜在错误用词数据确定候选替换句，得到多个待评分的候选替换句；

分别将每一个所述待评分的候选替换句输入统计语言模型进行候选替换句评分，得到多个候选替换句评分结果；

根据所述多个候选替换句评分结果，确定目标候选替换句。

进一步的，所述获取目标词典的步骤之前，包括：

获取多个业务场景文本样本；

对所述多个业务场景文本样本进行分词，得到待统计的词语集合；

对所述待统计的词语集合中每个词语进行词频统计，得到多个待分析词语词频；

获取词频阈值；

判断所述多个待分析词语词频是否大于所述词频阈值；

当所述待分析词语词频大于所述词频阈值时，将所述待分析词语词频对应的词语作为业务场景常用词数据；

采用点间互信息和左右熵的新词发现算法对所述多个业务场景文本样本进行新词挖掘，得到业务场景新词数据；

获取业务场景特定词数据和通用场景常用词数据；

根据所述业务场景常用词数据、所述业务场景新词数据、所述业务场景特定词数据和所述通用场景常用词数据，确定所述目标词典。