[发明专利]一种网络账号快速检索的分词方法

说明书

技术领域

本发明涉及计算机网络数据处理技术领域，特别是一种网络账号快速检索的分词方法。

背景技术

随着互联网的普及，网民的数量(2014年中国网民达6亿多)和网站的数量都在在急剧增长，注册的网络账号也随之增长。如果要在大量的互联网网页中检索某个网络账号，是一个比较大的技术难题。现在的搜索引擎的常见做法是将网页的内容通过切词，保存为倒排索引的格式加快检索的速度。其中分词方法的优劣会影响检索的速度。

常见的搜索引擎英文串分词方法步骤简单描述如下：

0：定义非英文字母和数字的符号分隔符，例如空格，逗号，句点符号；

1：将连续在一起的英文字母和数字组成一个词，遇到分隔符时，当前分词结束。

网络账号一般由ascii码(英文字母、数字、减号、下划线)组成。对于常见的英文分词方法，如果账号中有减号，下划线等符号，则会分割为多个查询词，例如账号"wwt-abc-123"，会被分成为3个查询词："wwt","abc","123"。过多的查询词会导致检索速度的下降，主要体现在下面的步骤里：

1：需对每个词查询词表，定位其所在倒排表位置，并读取每个词的倒排表信息；

2：对每个词的所在文档做交集运算；

3：对每个词在文档中的位置距离做运算。

发明内容

发明目的：本发明所要解决的技术问题是针对现有技术的不足，提供一种网络账号快速检索的分词方法，本发明通过账号的组成分析，提出新的分词方法，对于账号的英文串，最终只分出一个词来，减少检索的步骤(只需读取倒排表信息即可)，从而达到提高检索速度的目的。

为了解决上述技术问题，本发明公开了一种网络账号快速检索的分词方法，包括以下步骤：

步骤一，连字符的搜集：搜集连接英文和数字字符的符号以及符号出现的频率；

步骤二，定义连字符集合；

步骤三，处理连字符；

步骤四，对账号分词。

本发明中，步骤一包括：

步骤1，以不可见字符分割输入字符串string，得到多个子字符串sub_string；

步骤2，过滤超短或超长的子字符串；

步骤3，进行搜集，包括：

步骤3a，令指针ptr指向过滤后的子字符串sub_string的开始字符；

步骤3b，判断子字符串sub_string的剩余长度是否小于3，是则跳转到步骤3d，否则执行步骤3c；

步骤3c，判断指针ptr所指向的3个字符是否同时满足以下三个条件：

第一个字符是英文或者数字字符，

第二个字符是可见的符号，

第三个字符是英文或者数字字符，

如果满足，则将第二个字符添加到连字符集合里，并将第二个字符的频率加1，且将指针ptr指向第三个字符；如果不满足，则将指针ptr指向第二个字符，返回步骤3c；

步骤3d，对连字符集合按频率由高到低排序输出。

本发明中，不可见字符空格、tab符号以及回车换行符中的任意一种。

本发明中，超短或超长的子字符串的范围是6～20个字符。

本发明中，定义连字符包括减号、下划线以及英文句点。

本发明中，将连字符作为分词的一部分，连接连字符前后的英文或数字字符。

本发明中，包括以下步骤：

步骤4，输入待分词文件file；

步骤5，初始化当前词word为空，当前词word用于存储当前待确定的词；

步骤6，判断文件file是否读取完，是则跳转到结束步骤11，否则执行下一步；

步骤7，判断文件file中下一个字符是否是多字节字符，如果是则忽略该字，跳到下一个字符，并返回步骤6，否则跳到下一个字符，执行下一步；

步骤8，读取文件file中当前字符；

步骤9，判断该字符是否是英文字或数字，如果是则将该字符添加到当前词word的尾部，并跳转到步骤6，否则执行下一步；

步骤10，判断该字是否是连字符，如果是则将该字符添加到当前词word的尾部，并跳转到步骤6，否则将当前词word添加到词组array中，并跳转到步骤5；

步骤11，输出词组array。