[发明专利]停用词的挖掘方法和装置、搜索方法和装置、评测方法和装置

说明书

一种停用词的挖掘方法，包括以下步骤：获取查询日志；获取查询日志中记录的查询串中查询词的逆向文档频率、查询词的相对词权重、因修改查询串行为产生的查询词集合、因触发行为产生的查询串与网页地址的对应关系集中至少一种属性信息，并根据所述属性信息生成停用词集。此外，还提供了停用词的挖掘装置、搜索方法和搜索装置、停用词的挖掘算法的评测方法和装置。上述停用词的挖掘方法和装置，提高了停用词的准确率；上述搜索方法和装置通过去掉停用词把原始的查询串简化，可搜索到更多相关的网页，提高了搜索的准确率；上述停用词的挖掘算法的评测方法和装置采用交叉验证的方式进行评测，比较得出最优的算法。

技术领域

本发明涉及互联网技术，特别是涉及一种停用词的挖掘方法和装置、搜索方法和装置、停用词挖掘算法的评测方法和装置。

背景技术

停用词是搜索引擎在索引网页或处理查询请求时自动忽略掉的查询词，停用词通常出现的过于频繁且没有实际意义，如“the”、“a”、“的”、“了”，去除这类词有利于减少网页搜索的规模，提高搜索结果的准确性。

传统的停用词的挖掘方式主要有两种，一种是人工按某个标准挑选；一种是从网页文档和搜索引擎的日志中自动挖掘。人工挑选方式需要耗费大量的人力，且效率低。从网页文档和搜索引擎的日志中自动挖掘停用词的方式分为两种，一种是利用随机采样生成样本集，对样本集中的单词依次计算权重，然后选取词权重最小的若干单词，生成停用词集，该方法得到的停用词集准确率低；一种是将查询串中处于左边位置的词看作停用词，此种挖掘方式对于较短查询串中的停用词挖掘的准确率低。

发明内容

基于此，有必要针对传统的停用词挖掘的准确率低的问题，提供一种能提高准确率的停用词的挖掘方法。

此外，还有必要针对传统的停用词挖掘的准确率低的问题，提供一种能提高准确率的停用词的挖掘装置。

此外，还有必要提供一种能提高准确率的搜索方法。

此外，还有必要提供一种能提高准确率的搜索装置。

此外，还有必要提供一种能提高准确率的停用词的挖掘算法的评测方法。

此外，还有必要提供一种能提高准确率的停用词的挖掘算法的评测装置。

一种停用词的挖掘方法，包括以下步骤：

获取查询日志；

获取查询日志中记录的查询串中查询词的逆向文档频率、查询词的相对词权重、因修改查询串行为产生的查询词集合、因触发行为产生的查询串与网页地址的对应关系集中至少一种属性信息，并根据所述属性信息生成停用词集。

一种停用词的挖掘装置，包括：

获取模块，用于获取查询日志；

生成模块，用于获取查询日志中记录的查询串中查询词的逆向文档频率、查询词的相对词权重、因修改查询串行为产生的查询词集合、因触发行为产生的查询串与网页地址的对应关系集中至少一种属性信息，并根据所述属性信息生成停用词集。

一种搜索方法，包括以下步骤：

获取查询串；

对所述查询串采用上述的停用词的挖掘方法生成的停用词集进行处理；

根据所述处理后的查询串进行搜索。

一种搜索装置，包括：

查询串获取模块，用于获取查询串；

处理模块，用于对所述查询串采用上述的停用词的挖掘装置生成的停用词集进行处理；

搜索模块，用于根据所述处理后的查询串进行搜索。

一种停用词的挖掘算法的评测方法，包括以下步骤：