[发明专利]检测叠词错误的方法、装置及系统

权利要求书

1.一种检测叠词错误的方法，其特征在于，包括：

获取文本，并得到所述文本中的标点符号、字符串信息；

根据所述标点符号、所述字符串信息得到多个待检测文本，且获得所述待检测文本中的重复词组；

对所述重复词组所在的原始文本片段进行分词，检测是否存在相邻叠词；

若存在所述相邻叠词，将所述相邻叠词的词性在预设词性数据库中进行匹配；

若匹配成功，则将所述原始文本片段中的一个叠词进行删除得到待检测文本片段，并得到所述原始文本片段和所述待检测文本片段的使用概率；

若所述原始文本片段的使用概率小于所述待检测文本片段的使用概率，则确定所述相邻叠词在原始文本片段中使用错误。

2.根据权利要求1所述的方法，其特征在于，得到所述原始文本片段和所述待检测文本片段的使用概率，包括：

采用移动窗口分别在所述原始文本片段与所述待检测文本片段上移动，获得除去所述叠词的多个目标检验字；

通过预设语言模型，分别检测所述目标检验字在所述原始文本片段、所述待检测文本片段中的使用概率后，确定所述原始文本片段和所述待检测文本片段的使用概率。

3.根据权利要求2所述的方法，其特征在于，还包括：

根据所述原始文本片段与所述待检测文本片段，设置所述移动窗口的参数；

根据所述移动窗口的大小参数，所述移动窗口分别从所述原始文本片段、所述待检测文本片段中所述叠词位置开始，依次向两端部分位置移动，获得除去所述叠词的多个目标检验字。

4.根据权利要求3所述的方法，其特征在于，还包括：

若所述目标检验字未填满所述移动窗口，则确定所述移动窗口在所述原始文本片段、所述待检测文本片段的一端部分位置，并在另一端部分位置移动所述移动窗口时，将所述目标检验字填满所述移动窗口。

5.根据权利要求1所述的方法，其特征在于，将所述相邻叠词的词性在预设词性数据库中进行匹配，包括：

对所述相邻叠词进行词性标注，将所述相邻叠词的词性与预设词性数据库中的预存词性进行匹配。

6.根据权利要求5所述的方法，其特征在于，还包括：

若所述预设词性数据库中不存在与所述相邻叠词相匹配的预存词性，则确定所述相邻叠词使用错误。

7.根据权利要求1-6任一项所述的方法，其特征在于，在确定所述相邻叠词在原始文本片段中使用错误之后，还包括：

在所述文本中标记使用错误的相邻叠词。

8.一种检测叠词错误的装置，其特征在于，包括：

获取模块，用于获取文本，并得到所述文本中的标点符号、字符串信息；

得到模块，用于根据所述标点符号、所述字符串信息得到多个待检测文本，且获得所述待检测文本中的重复词组；

检测模块，用于对所述重复词组所在的原始文本片段进行分词，检测是否存在相邻叠词；

匹配模块，用于若存在所述相邻叠词，将所述相邻叠词的词性在预设词性数据库中进行匹配；

删除模块，用于若匹配成功，则将所述原始文本片段中的一个叠词进行删除得到待检测文本片段，并得到所述原始文本片段和所述待检测文本片段的使用概率；

确定模块，用于若所述原始文本片段的使用概率小于所述待检测文本片段的使用概率，则确定所述相邻叠词在原始文本片段中使用错误。

9.一种检测叠词错误的系统，其特征在于，包括：存储器和处理器，存储器中存储有所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1-7任一项所述的检测叠词错误的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-7任一项所述的检测叠词错误的方法。