[发明专利]一种网络账号快速检索的分词方法

权利要求书

1.一种网络账号快速检索的分词方法，其特征在于，包括以下步骤：

步骤一，连字符的搜集：搜集连接英文和数字字符的符号以及符号出现的频率；

步骤二，定义连字符集合；

步骤三，处理连字符；

步骤四，对账号分词；

步骤一包括：

步骤1，以不可见字符分割输入字符串string，得到多个子字符串sub_string；

步骤2，过滤超短或超长的子字符串；

步骤3，进行搜集，包括：

步骤3a，令指针ptr指向过滤后的子字符串sub_string的开始字符；

步骤3b，判断子字符串sub_string的剩余长度是否小于3，是则跳转到步骤3d，否则执行步骤3c；

步骤3c，判断指针ptr所指向的3个字符是否同时满足以下三个条件：

第一个字符是英文或者数字字符，

第二个字符是可见的符号，

第三个字符是英文或者数字字符，

如果满足，则将第二个字符添加到连字符集合里，并将第二个字符的频率加1，且将指针ptr指向第三个字符；如果不满足，则将指针ptr指向第二个字符，返回步骤3c；步骤3d，对连字符集合按频率由高到低排序输出。

2.根据权利要求1所述的一种网络账号快速检索的分词方法，其特征在于，不可见字符空格、tab符号以及回车换行符中的任意一种。

3.根据权利要求1所述的一种网络账号快速检索的分词方法，其特征在于，超短或超长的子字符串的范围是6～20个字符。

4.根据权利要求1所述的一种网络账号快速检索的分词方法，其特征在于，定义连字符包括减号、下划线以及英文句点。

5.根据权利要求4所述的一种网络账号快速检索的分词方法，其特征在于，将连字符作为分词的一部分，连接连字符前后的英文或数字字符。

6.根据权利要求5所述的一种网络账号快速检索的分词方法，其特征在于，包括以下步骤：

步骤4，输入待分词文件file；

步骤5，初始化当前词word为空，当前词word用于存储当前待确定的词；

步骤6，判断文件file是否读取完，是则跳转到结束步骤11，否则执行下一步；

步骤7，判断文件file中下一个字符是否是多字节字符，如果是则忽略该字符，跳到下一个字符，并返回步骤6，否则跳到下一个字符，执行下一步；

步骤8，读取文件file中当前字符；

步骤9，判断该字符是否是英文字或数字，如果是则将该字符添加到当前词word的尾部，并跳转到步骤6，否则执行下一步；

步骤10，判断该字是否是连字符，如果是则将该字符添加到当前词word的尾部，并跳转到步骤6，否则将当前词word添加到词组array中，并跳转到步骤5；

步骤11，输出词组array。