[发明专利]基于语言模型的文本纠错方法、装置、终端设备及介质

说明书

本申请适用于人工智能技术领域，提供了一种基于语言模型的文本纠错方法、装置、终端设备及介质，该方法包括：确定待纠错文本中的人名，对待纠错文本中的人名进行词汇替换，得到替换文本，词汇替换用于将待纠错文本中的人名，分别替换为预设人名词汇和预设产品词汇；将替换文本输入语言模型进行文本分析，得到文本得分；将最大文本得分对应的替换文本设置为标准文本，以及根据标准文本对待纠错文本进行文本纠错。本申请基于标准文本中携带的预设人名词汇或预设产品词汇对待纠错文本进行纠错，无需计算待纠错文本中单个词汇的使用频率，且无需基于单个词汇的使用频率进行文本纠错，防止了对待纠错文本中人名的错误纠错，提高了文本纠错的准确性。

技术领域

本申请涉及人工智能技术领域，尤其涉及一种基于语言模型的文本纠错方法、装置、终端设备及介质。

背景技术

在文本纠错过程中，由于人名是一个低频词，人名和其他词语组合形成的词组也是低频的。在文本纠错过程中往往会认为出现人名的地方是有错误的，比如“查王聪敏性别”，因为“聪敏”发生的频次要比“聪明”低，如果不对人名“聪敏”进行检测与纠错的话，会被错误地识别为“聪明”，因此，文本纠错过程中，人名检测与纠错的问题越来越受人们所重视。

现有的文本纠错过程中，均基于光学字符识别模型（Optical CharacterRecognition，OCR识别模型）进行待纠错文本的纠错，但OCR识别模型在进行文本纠错的过程中，是基于单个词汇的使用频率进行文本纠错，使得会对使用频率较低的人名进行错误纠错，导致文本纠错准确性低下。

发明内容

有鉴于此，本申请实施例提供了一种基于语言模型的文本纠错方法、装置、终端设备及介质，以解决现有技术中，基于单个词汇的使用频率进行文本纠错，所导致的文本纠错准确性低下的问题。

本申请实施例的第一方面提供了一种基于语言模型的文本纠错方法，包括：

确定待纠错文本中的人名，对所述待纠错文本中的人名进行词汇替换，得到替换文本，所述词汇替换用于将所述待纠错文本中的人名，分别替换为预设人名词汇和预设产品词汇；

将所述替换文本输入语言模型进行文本分析，得到文本得分，所述文本得分用于表征所述替换文本内词汇之间的关联程度；

将最大所述文本得分对应所述替换文本设置为标准文本，以及根据所述标准文本对所述待纠错文本进行文本纠错。

进一步地，所述对所述待纠错文本中的人名进行词汇替换，得到替换文本，包括：

确定所述待纠错文本中的人名，根据所述预设人名词汇对确定到的所述待纠错文本中的人名进行人名替换，得到第一替换文本，所述预设人名词汇用于表征所述第一替换文本中的人名的字符位置；

再次确定所述待纠错文本中的人名，根据所述预设产品词汇对确定到的所述待纠错文本中的人名替换，得到第二替换文本，所述预设产品词汇用于表征所述第二替换文本中的人名的字符位置；

所述替换文本包括所述第一替换文本和所述第二替换文本。

进一步地，所述根据所述标准文本对所述待纠错文本进行文本纠错，包括：

确定所述标准文本中所述预设人名词汇的位置信息，得到人名位置；

查询所述待纠错文本上所述人名位置对应的词汇，得到第一待纠错词汇；

若所述第一待纠错词汇不是人名，则查询所述第一待纠错词汇对应的标准人名词汇，并将查询到的所述标准人名词汇对所述第一待纠错词汇进行替换；

若所述第一待纠错词汇是人名，则判定所述第一待纠错词汇无需纠错。

进一步地，所述根据所述标准文本对所述待纠错文本进行文本纠错，还包括：