[发明专利]一种针对海量数据中查询词的搜索维度挖掘方法有效

专利信息
申请号: 201510890422.5 申请日: 2015-12-07
公开(公告)号: CN105528421B 公开(公告)日: 2018-09-04
发明(设计)人: 窦志成;文继荣;李谨秀 申请(专利权)人: 中国人民大学
主分类号: G06F17/30 分类号: G06F17/30
代理公司: 北京中创阳光知识产权代理有限责任公司 11003 代理人: 尹振启
地址: 100872 *** 国省代码: 北京;11
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 一种 针对 海量 数据 查询 搜索 维度 挖掘 方法
【权利要求书】:

1.一种针对海量数据中查询词的搜索维度挖掘方法,其特征在于,所述方法包括如下步骤:

1)词项列表抽取:基于文本、HTML标签和重复区域模式,从抓取到的数据集中的每一个网页中抽取Lists;

2)增加抽取机制,以实现对步骤1)中抽取到的Lists进行有效性扩充;

(1)对于每个新闻搜索词,在搜索引擎中爬取相关的新闻数据K条作为数据集;

(2)对爬取到的每个文档抽取出其中的文本;

(3)对每个文档的数据进行处理,将同一句话作为一个抽取List的标准,或同一段落作为一个抽取List的标准,或同一篇章作为一个抽取List的标准;将同一句话、同一个段落或同一个篇章中的人名抽取出来作为一个List、地名抽取出来作为一个List、机构名抽取出来作为一个List;

(4)对步骤(3)中抽取出的List进行过滤;

3)词项列表打分:评估抽取出来的每一个List的重要性;

4)词项列表聚类:将相似的词项列表进行合并形成一个查询维度;

5)查询维度及词项列表的排序:计算不同的查询分面、词项的重要性。

2.根据权利要求1所述的针对海量数据中查询词的搜索维度挖掘方法,其特征在于,所述步骤(3)中对于中文的人名、地名、机构名的抽取,首先使用工具nlpir汉语分词系统对中文文本进行分词,分词后便可以得到其中的人名、地名和机构名;对于英文的人名、地名、机构名的抽取,使用斯坦福大学的命名实体识别器识别人名,地名,机构名。

3.根据权利要求1所述的针对海量数据中查询词的搜索维度挖掘方法,其特征在于,所述步骤(4)具体为:

a)爬取步骤(3)抽出的List中每个词项在wikipedia中的网页,并获得该List中每个词项的“分类”属性集;

b)将List中每个词项的“分类”属性集求并集,得到一个大的分类属性集C;

c)遍历C中的每个分类,对于每个分类,将该List中包含该分类的词项放一起,如果该分类中的词项超过三个,则组成一个新的List,将词项不足三个的List舍弃;

d)步骤c)循环结束之后可以得到一系列Lists,并且每个List都是根据一个分类属性得到的;

e)对于Lists中的每个新的List,利用idf信息对抽出的List进行评分;

f)选择一个评分最高的List作为最终的List。

4.根据权利要求3所述的针对海量数据中查询词的搜索维度挖掘方法,其特征在于,所述步骤e)中的idf计算公式为:idf=(N-n+0.5)/(n+0.5);其中,其中N是wikipedia中包含的总共的item数目,n表示List所根据的分类属性在wikipedia中包含的词条总数。

5.根据权利要求3所述的针对海量数据中查询词的搜索维度挖掘方法,其特征在于,所述步骤e)中利用idf信息对抽出的List进行评分的计算公式为: Score=length*idf,其中length表示List的长度。

6.根据权利要求1所述的针对海量数据中查询词的搜索维度挖掘方法,其特征在于,所述步骤2)具体为:将同一句话、同一段落或同一篇新闻中的实体词抽取出来作为一个List;然后对抽取到的List利用wikipedia进行过滤处理。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国人民大学,未经中国人民大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201510890422.5/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top