[发明专利]一种针对海量数据中查询词的搜索维度挖掘方法有效
申请号: | 201510890422.5 | 申请日: | 2015-12-07 |
公开(公告)号: | CN105528421B | 公开(公告)日: | 2018-09-04 |
发明(设计)人: | 窦志成;文继荣;李谨秀 | 申请(专利权)人: | 中国人民大学 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 北京中创阳光知识产权代理有限责任公司 11003 | 代理人: | 尹振启 |
地址: | 100872 *** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 针对 海量 数据 查询 搜索 维度 挖掘 方法 | ||
1.一种针对海量数据中查询词的搜索维度挖掘方法,其特征在于,所述方法包括如下步骤:
1)词项列表抽取:基于文本、HTML标签和重复区域模式,从抓取到的数据集中的每一个网页中抽取Lists;
2)增加抽取机制,以实现对步骤1)中抽取到的Lists进行有效性扩充;
(1)对于每个新闻搜索词,在搜索引擎中爬取相关的新闻数据K条作为数据集;
(2)对爬取到的每个文档抽取出其中的文本;
(3)对每个文档的数据进行处理,将同一句话作为一个抽取List的标准,或同一段落作为一个抽取List的标准,或同一篇章作为一个抽取List的标准;将同一句话、同一个段落或同一个篇章中的人名抽取出来作为一个List、地名抽取出来作为一个List、机构名抽取出来作为一个List;
(4)对步骤(3)中抽取出的List进行过滤;
3)词项列表打分:评估抽取出来的每一个List的重要性;
4)词项列表聚类:将相似的词项列表进行合并形成一个查询维度;
5)查询维度及词项列表的排序:计算不同的查询分面、词项的重要性。
2.根据权利要求1所述的针对海量数据中查询词的搜索维度挖掘方法,其特征在于,所述步骤(3)中对于中文的人名、地名、机构名的抽取,首先使用工具nlpir汉语分词系统对中文文本进行分词,分词后便可以得到其中的人名、地名和机构名;对于英文的人名、地名、机构名的抽取,使用斯坦福大学的命名实体识别器识别人名,地名,机构名。
3.根据权利要求1所述的针对海量数据中查询词的搜索维度挖掘方法,其特征在于,所述步骤(4)具体为:
a)爬取步骤(3)抽出的List中每个词项在wikipedia中的网页,并获得该List中每个词项的“分类”属性集;
b)将List中每个词项的“分类”属性集求并集,得到一个大的分类属性集C;
c)遍历C中的每个分类,对于每个分类,将该List中包含该分类的词项放一起,如果该分类中的词项超过三个,则组成一个新的List,将词项不足三个的List舍弃;
d)步骤c)循环结束之后可以得到一系列Lists,并且每个List都是根据一个分类属性得到的;
e)对于Lists中的每个新的List,利用idf信息对抽出的List进行评分;
f)选择一个评分最高的List作为最终的List。
4.根据权利要求3所述的针对海量数据中查询词的搜索维度挖掘方法,其特征在于,所述步骤e)中的idf计算公式为:idf=(N-n+0.5)/(n+0.5);其中,其中N是wikipedia中包含的总共的item数目,n表示List所根据的分类属性在wikipedia中包含的词条总数。
5.根据权利要求3所述的针对海量数据中查询词的搜索维度挖掘方法,其特征在于,所述步骤e)中利用idf信息对抽出的List进行评分的计算公式为: Score=length*idf,其中length表示List的长度。
6.根据权利要求1所述的针对海量数据中查询词的搜索维度挖掘方法,其特征在于,所述步骤2)具体为:将同一句话、同一段落或同一篇新闻中的实体词抽取出来作为一个List;然后对抽取到的List利用wikipedia进行过滤处理。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国人民大学,未经中国人民大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201510890422.5/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置