[发明专利]一种错别字检测方法及装置

说明书

本申请提供一种错别字检测方法及装置，应用于中文电子病历中错别字的识别，该方法通过获取待检测文本，并对所述待检测文本进行分句处理，得到至少一个待处理文本；根据N‑gram语言模型，对每个所述待处理文本进行打分，得到每个所述待处理文本对应的分数；将每个所述待处理文本对应的分数与预设阈值进行比较；当所述待处理文本对应的分数小于预设阈值时，确定所述待检测文本中存在错别字，并定位错别字的位置。本申请基于2gram，3gram组合打分，对待检测文本中的字符进行错别字检测，可高速有效对医学语料数据进行错别字检测，为后续产品的研发打下基础；另外，对于不同的数据环境，可以使用阈值搜索方法调整阈值标准，适用性强。

技术领域

本申请涉及数据识别技术领域，尤其涉及一种错别字检测方法及装置。

背景技术

随着电子技术的快速发展，各行各业的数据量呈爆发式增长，人类进入了大数据时代，交通大数据、气象大数据、金融大数据、商业大数据、生物医学大数据等，而随着大数据和电子病历在医院逐渐普及的情况下，医疗行业也产生了海量的临床大数据，通过对临床大数据进行分析和挖掘，临床大数据在医疗行业的应用技术已经有了一定进展。

然而，对电子病历中的错别字检验的技术，尚未完善。例如，若电子病历中含有错别字的文本，会降低后续处理的效率和准确性。而在医学语料的错别字检测应用中，大多数检测方法并不适用医疗语料。

因此，如何高速有效对医学语料数据进行错别字检测，为后续产品的研发打下基础，已成为本领域技术人员亟待解决的问题。

发明内容

本申请提供了一种错别字检测方法及装置，用以高速有效对医学语料数据进行错别字检测。

为了实现上述目的，本申请提供了以下技术方案：

一种错别字检测方法，应用于中文电子病历中错别字的识别，该方法包括：

获取待检测文本，并对所述待检测文本进行分句处理，得到至少一个待处理文本，所述待检测文本为中文电子病历；

根据N-gram语言模型，对每个所述待处理文本进行打分，得到每个所述待处理文本对应的分数；

将每个所述待处理文本对应的分数与预设阈值进行比较；

当所述待处理文本对应的分数小于预设阈值时，确定所述待检测文本中存在错别字，并定位错别字的位置。

优选的，所述对所述待检测文本进行分句处理时，还包括以下任意一个或多个步骤：

去除所述待检测文本中的干扰元素；

将所述待检测文本中的字符串转换为预定格式。

优选的，训练所述N-gram语言模型的步骤，包括：

获取训练样本集合，所述训练样本集合包括至少一个训练样本；

对所述训练样本集合中的各个训练样本进行分句处理；

对处理后的每个训练样本进行标注，将存在错误的句子进行标注并确定其错误位置；

根据所述存在错误的句子以及所述错误位置进行训练，构成所述N-gram语言模型。

优选的，所述根据N-gram语言模型，对每个所述待处理文本进行打分，得到每个所述待处理文本对应的分数，包括：

对每个所述待处理文本按照2-gram语言模型进行打分，得到第一分数；

对每个所述待处理文本按照3-gram语言模型进行打分，得到第二分数；

根据所述第一分数和所述第二分数计算每个所述待处理文本对应的分数。

优选的，所述预设阈值的确定方法，包括：

对每个所述待处理文本按照所述N-gram语言模型进行打分，并获得所有错误位置的分数，作为错误分数集合；

对所述错误分数集合取85%-95%百分位数，分别作为备用阈值；