[发明专利]一种分词词典自动扩展的方法和装置

权利要求书

1.一种分词词典自动扩展的方法，其特征在于，该方法包括以下步骤：

S1，获取词汇资源文本；

S2，采用分词器对词汇资源文本处理后提取未能识别的单词组成候选词汇；

S3，统计候选词汇中每个单词出现的频次；

S4，选择高频的单词加入至词典。

2.如权利要求1所述的分词词典自动扩展的方法，其特征在于，该方法应用于搜索装置，该搜索装置包括搜索日志数据库，所述步骤S1包括：

S11，提取搜索日志数据库中的搜索文本。

3.如权利要求2所述的分词词典自动扩展的方法，其特征在于，所述步骤S1还包括：

S12，通过网络爬虫从公共网站中抓取网页。

4.一种分词词典自动扩展的装置，其特征在于，该装置包括：

获取词汇资源文本的装置；

采用分词器对词汇资源文本处理后提取未能识别的单词组成候选词汇的装置；

统计候选词汇中每个单词在出现的频次的装置；

选择高频的单词加入至词典的装置。

5.如权利要求4所述的分词词典自动扩展的装置，其特征在于，所述获取词汇资源文本的装置包括提取搜索装置的搜索日志数据库中的搜索文本的装置。

6.如权利要求5所述的分词词典自动扩展的装置，其特征在于，所述获取词汇资源文本的装置还包括网络爬虫装置；所述的网络爬虫装置用于从公共网站中抓取网页。

7.一种机器可读介质，其特征在于，该可读介质上存储有指令集，当该指令集被执行时，使得该机器可执行权利要求1或2或3所述的方法。