[发明专利]一种针对海量数据中查询词的搜索维度挖掘方法

说明书

本发明公开了一种针对海量数据中查询词的搜索维度挖掘方法，其该方法包括如下步骤：1)基于文本、HTML标签和重复区域等模式，从抓取到的数据集中的每一个网页中抽取Lists；2)增加抽取机制，以实现对步骤1)中抽取到的Lists进行有效性扩充；3)评估抽取出来的每一个List的重要性；4)词项列表聚类：将相似的词项列表进行合并形成一个查询维度；5)查询维度及词项列表的排序：计算不同的查询分面、词项的重要性。本发明可以获得更多有效的词项列表，在得到补充后的词项列表之后，对新的词项列表进行打分，将相似的词项列表进行合并分类，计算不同的查询分面、词项列表的重要性，最终使得挖掘出的查询维度更加完善，使得用户可以获得更为完整的信息。

技术领域

本发明涉及一种针对海量数据中查询词的搜索维度挖掘方法。

背景技术

目前，在我们之前的研究工作中，针对海量数据中查询词的搜索维度挖掘方法主要有以下四个步骤：(1)在网页上根据文本、HTML标签、重复区域等模式，抽取词项列表(List)；(2)对词项列表进行打分，评估词项列表的重要性；(3)将相似的词项列表进行合并形成一个查询维度；(4)计算不同的查询分面、词项列表的重要性；上述方案主要存在如下问题：没有重复区域以及HTML标签的网页有很多(新闻数据、微博博文等)，现有方法对于这些数据并不适用，尤其是新闻数据，抽取到的词项列表会很少，或抽不到。

因此，如何解决上述问题成为本领域技术人员亟需解决的技术问题。

发明内容

针对背景技术中存在的问题，本发明的目的在于提供一种针对海量数据中查询词的搜索维度挖掘方法，该方法可以获得更多有效的词项列表，在得到补充后的词项列表之后，对新的词项列表进行打分，将相似的词项列表进行合并分类，计算不同的查询分面、词项列表的重要性，最终使得挖掘出的查询维度更加完善，使得用户可以获得更为完整的信息。

本发明的目的是通过以下技术方案来实现的：

一种针对海量数据中查询词的搜索维度挖掘方法，所述方法包括如下步骤：

1)词项列表抽取：基于文本、HTML标签或重复区域模式，从抓取到的数据集中的每一个网页中抽取Lists；

2)增加抽取机制，以实现对步骤1)中抽取到的Lists进行有效性扩充；

3)词项列表打分：评估抽取出来的每一个List的重要性；

4)词项列表聚类：将相似的词项列表进行合并形成一个查询维度；

5)查询维度及词项列表的排序：计算不同的查询分面、词项的重要性。

进一步，所述步骤2)具体为：

(1)对于每个新闻搜索词，在搜索引擎中爬取相关的新闻数据K条作为数 据集；

(2)对爬取到的每个文档抽取出其中的文本；

(3)对每个文档的数据进行处理，抽取出同一句话、同一个段落或同一个章节中的人名抽取出来作为一个List、地名抽取出来作为一个List、机构名抽取出来作为一个List；

(4)对步骤(3)中抽取出的List进行过滤。

进一步，所述步骤(3)中对于中文的人名、地名、机构名的抽取，首先使用工具nlpir汉语分词系统对中文文本进行分词，分词后便可以得到人名、地名和机构名；对于英文的人名、地名、机构名的抽取，使用斯坦福大学的命名实体识别器识别人名，地名，机构名。

进一步，所述步骤(4)具体为：

a)爬取步骤(3)抽出的List中每个词项在wikipedia中的网页，并获得该List中每个词项的“分类”属性集；