[发明专利]字符串的分词方法、装置及设备

说明书

技术领域

本申请涉及计算机技术，尤其涉及一种字符串的分词方法、装置及设备。

背景技术

自然语言处理是运用计算机对自然语言进行分析和理解，从而使计算机在某种程度上具有人的语言能力。在对英文文本进行自然语言处理时，经常会遇到不符合自然语言规则的脏数据，导致自然语言处理效果大打折扣。因此，需要先对英文文本进行分词预处理，得到包含多个英文单词的正常自然语言，然后再使用自然语言模型进行处理。

现有技术中的脏数据主要包括因空格字符缺失造成多个单词连在一起形成的字符串、掺杂有干扰字符的字符串等。现有技术对英文文本进行分词的具体过程如下：按顺序依次读取待分割的字符串的一个字母，添加到已经取得的字母们的后面，组成一个子字符串，然后检查此子字符串是否能在预先获取的英文词典中查到。如果能查到，则说明该子字符串是一个单词，先将其从原字符串中分割出来。然后对剩下的字符串重复使用这种方法，最终完成单词分割，或者剩下的字符串没法分割直接输出。

然而，现有技术对英文文本进行分词的方法，在待分割的字符串中前一单词与后一单词的前缀组成单词、或掺杂有干扰字符等情况下，会出现分割不当导致语义错误、甚至无法分割的现象。

发明内容

本发明提供一种字符串的分词方法、装置及设备，不仅提高了分割成功率，还提高了分割结果中的各单词语义正确的概率。

第一方面，本发明提供一种字符串的分词方法，包括：

获取待分割的字符串的正向分割结果，所述正向分割结果包括至少一个第一单词；

获取所述待分割的字符串的反向分割结果，所述反向分割结果包括至少一个第二单词；

获取各所述第一单词的词频和各所述第二单词的词频，所述词频为预先确定的各单词在预设文本中出现的次数；

根据各所述第一单词的词频以及各所述第二单词的词频，确定所述待分割的字符串的分割结果，其中，所述待分割的字符串的分割结果为所述正向分割结果或所述反向分割结果。

作为一种可实现的方式，所述获取待分割的字符串的正向分割结果，包括：

对所述待分割的字符串进行正向分割的操作，判断是否获取到第一单词；

若是，将除去所述第一单词的待分割的字符串作为新的待分割的字符串，并返回执行对待分割的字符串进行正向分割的操作；

若否，对所述待分割的字符串的正向的首字符进行删除处理，得到处理后的待分割的字符串，将处理后的待分割的字符串作为新的待分割的字符串，并返回执行对待分割的字符串进行正向分割的操作；

重复执行对所述待分割的字符串进行正向分割的操作，直至对所述待分割的字符串分割结束，得到正向分割结果。

本实施例提供的正向分割方法，为一层一层的正向递进式分割方式，经过一层一层的尝试，克服了干扰字符，最终得到了正向分割结果。

作为一种可实现的方式，所述获取待分割的字符串反向分割结果，包括：

对所述待分割的字符串进行反向分割的操作，判断是否获取到第二单词；

若是，将除去所述第二单词的待分割的字符串作为新的待分割的字符串，并返回执行对待分割的字符串进行反向分割的操作；

若否，对所述待分割的字符串的反向的首字符进行删除处理，得到处理后的待分割的字符串，将处理后的待分割的字符串作为新的待分割的字符串，并返回执行对待分割的字符串进行反向分割的操作；

重复执行对所述待分割的字符串进行正向分割的操作，直至对所述待分割的字符串分割结束，得到反向分割结果。

本实施例提供的反向分割方法，为一层一层的反向递进式分割方式，经过一层一层的尝试，克服了干扰字符，最终得到了反向分割结果。

作为一种可实现的方式，还包括：

获取待分割的文本，对所述待分割的文本进行符号删除操作，得到所述待分割的字符串。

作为一种可实现的方式，还包括：

构建正向字典树和反向字典树；

所述对所述待分割的字符串进行正向分割的操作，包括：

根据所述正向字典树，对所述待分割的字符串进行正向分割的操作；

所述对所述待分割的字符串进行反向分割的操作，包括：

根据所述反向字典树，对所述待分割的字符串进行反向分割的操作。