[发明专利]一种针对海量数据中查询词的搜索维度挖掘方法

摘要

本发明公开了一种针对海量数据中查询词的搜索维度挖掘方法，其该方法包括如下步骤：1)基于文本、HTML标签和重复区域等模式，从抓取到的数据集中的每一个网页中抽取Lists；2)增加抽取机制，以实现对步骤1)中抽取到的Lists进行有效性扩充；3)评估抽取出来的每一个List的重要性；4)词项列表聚类：将相似的词项列表进行合并形成一个查询维度；5)查询维度及词项列表的排序：计算不同的查询分面、词项的重要性。本发明可以获得更多有效的词项列表，在得到补充后的词项列表之后，对新的词项列表进行打分，将相似的词项列表进行合并分类，计算不同的查询分面、词项列表的重要性，最终使得挖掘出的查询维度更加完善，使得用户可以获得更为完整的信息。

主权项

1.一种针对海量数据中查询词的搜索维度挖掘方法，其特征在于，所述方法包括如下步骤：1）词项列表抽取：基于文本、HTML标签和重复区域模式，从抓取到的数据集中的每一个网页中抽取Lists；2）增加抽取机制，以实现对步骤1）中抽取到的Lists进行有效性扩充；（1）对于每个新闻搜索词，在搜索引擎中爬取相关的新闻数据K条作为数据集；（2）对爬取到的每个文档抽取出其中的文本；（3）对每个文档的数据进行处理，将同一句话作为一个抽取List的标准，或同一段落作为一个抽取List的标准，或同一篇章作为一个抽取List的标准；将同一句话、同一个段落或同一个篇章中的人名抽取出来作为一个List、地名抽取出来作为一个List、机构名抽取出来作为一个List；（4）对步骤（3）中抽取出的List进行过滤；3）词项列表打分：评估抽取出来的每一个List的重要性；4）词项列表聚类：将相似的词项列表进行合并形成一个查询维度；5）查询维度及词项列表的排序：计算不同的查询分面、词项的重要性。