[发明专利]一种字符串分词方法、装置、终端设备及存储介质

摘要

本发明公开了一种字符串分词方法、装置、终端设备及存储介质，所述方法包括：获取待处理的汉字字符串；对汉字字符串进行单个字切分，得到n个单个字ai，将ai与相邻单个字ai+1进行组合，得到临时词aiai+1；若临时词aiai+1在预设的常用词词库中存在，则将临时词aiai+1与相邻单个字ai+2进行组合，得到临时词aiai+1ai+2，并使用临时词aiai+1ai+2继续在所述常用词词库中进行查找，直到临时词aiai+1ai+2...ak在常用词词库中不存在为止；将aiai+1ai+2...ak‑1识别为有效词，并从单个字ak开始，继续与相邻单个字组合查找。本发明的技术方案无需设置初始词长，避免了常用词被错误分开，提高字符串分词的准确性，并且，实现方式更加简便易行，执行效率更高，从而有效提高字符串分词的通用性和分词效率。

主权项

1.一种字符串分词方法，其特征在于，所述字符串分词方法包括：获取待处理的汉字字符串；对所述汉字字符串进行单个字切分，得到n个单个字ai，其中，i∈[1,n]，n为所述汉字字符串中包含的汉字字符的个数；若i小于n，则将ai与相邻单个字ai+1进行组合，得到临时词aiai+1；若所述临时词aiai+1在预设的常用词词库中存在，则将所述临时词aiai+1与相邻单个字ai+2进行组合，得到临时词aiai+1ai+2，并使用所述临时词aiai+1ai+2继续在所述常用词词库中进行查找，直到临时词aiai+1ai+2...ak在所述常用词词库中不存在为止，其中，k∈[i+1,n]；若所述临时词aiai+1ai+2...ak在所述常用词词库中不存在，则将aiai+1ai+2...ak‑1识别为有效词，并从单个字ak开始，若k等于n，则将ak识别为有效词，若k小于n，则将ak作为ai，继续执行所述若i小于n，则将ai与相邻单个字ai+1进行组合，得到临时词aiai+1的步骤；若所述临时词aiai+1ai+2...ak在所述常用词词库中存在并且k＝n，则将aiai+1ai+2...ak识别为有效词；将识别出的有效词确定为所述汉字字符串的分词结果。