[发明专利]信息抓取方法有效

专利信息
申请号: 200910077557.4 申请日: 2009-01-22
公开(公告)号: CN101788988A 公开(公告)日: 2010-07-28
发明(设计)人: 蔡亮华;庞然;胡新宇 申请(专利权)人: 蔡亮华
主分类号: G06F17/30 分类号: G06F17/30
代理公司: 北京同立钧成知识产权代理有限公司 11205 代理人: 刘芳
地址: 100035 北京市*** 国省代码: 北京;11
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 信息 抓取 方法
【权利要求书】:

1.一种信息抓取方法,其特征在于,包括:

爬虫程序获取与搜索主题相关的网页信息,并对所述网页信息进行分词处理,获得包含若干词和/或词组的分词处理结果信息;

根据预设时间内所述词和/或词组在所述网页信息中出现的频率,对所述词和/或词组进行聚类操作,并获取第一分类数据表;

根据语义库数据对所述第一分类数据表进行语义属性归类,获取第二分类数据表;

在所述第二分类数据表中获取所述词和/或词组的语义属性参数;

根据所述语义库数据在所述第二分类数据表中查询具有新语义属性参数的所述词和/或词组;

将所述词和/或词组与所述第二分类数据表中语义属性参数相同的其他词和/或词组进行相关性分析,获取所述词和/或词组的语义数据,并将所述语义数据添加至所述语义库;

分别基于所述语义库中同一语义属性参数对所述词和/或词组进行加权运算,得到所述网页信息的语义属性参数;

若所述网页信息的语义属性参数在预设的语义属性参数范围内,则将所述网页信息保存至抓取结果队列。

2.根据权利要求1所述的信息抓取方法,其特征在于,所述根据预设时间内所述词和/或词组在所述网页信息中出现的频率,对所述词和/或词组进行聚类操作,并获取第一分类数据表之前还包括:

根据所述语义库数据在所述词和/或词组中获取未知语义数据的词和/或词组以及已知语义数据的词和/或词组。

3.根据权利要求2所述的信息抓取方法,其特征在于,所述根据预设时间内所述词和/或词组在所述网页信息中出现的频率,对所述词和/或词组进行聚类操作,并获取第一分类数据表包括: 

根据预设时间内所述未知语义数据的词和/或词组和所述已知语义数据的词和/或词组在所述网页信息中出现的频率,对所述未知语义数据的词和/或词组与所述已知语义数据的词和/或词组进行聚类操作,并获取所述第一分类数据表。

4.根据权利要求3所述的信息抓取方法,其特征在于,所述在所述第二分类数据表中获取所述词和/或词组的语义属性参数包括:

在所述第二分类数据表中获取所述未知语义数据的词和/或词组的语义属性参数以及所述已知语义数据的词和/或词组的语义属性参数。

5.根据权利要求4所述的信息抓取方法,其特征在于,所述在所述第二分类数据表中获取所述未知语义数据的词和/或词组的语义属性参数以及所述已知语义数据的词和/或词组的语义属性参数之后还包括:

将所述未知语义数据的词和/或词组与所述第二分类数据表中语义属性参数相同的词和/或词组进行相关性分析,获取所述未知语义词和/或词组的语义数据,并将所述语义数据添加至所述语义库。

6.根据权利要求1所述的信息抓取方法,其特征在于,所述爬虫程序获取与搜索主题相关的网页信息,并对所述网页信息进行分词处理,获得包含若干词和/或词组的分词处理结果信息之前还包括:

爬虫程序根据网址中包含的网页标题的地址获取包含网页标题和/或正文的网页信息;

将获取到的所述网页信息进行格式转换,生成标准化数据。

7.根据权利要求6所述的信息抓取方法,其特征在于,所述爬虫程序获取与搜索主题相关的网页信息,并对所述网页信息进行分词处理,获得包含若干词和/或词组的分词处理结果信息包括:

对所述标准化数据进行相关信息提取,获取与搜索主题相关的数据信息;

根据所述语义库数据对所述与搜索主题相关的数据信息进行分词处理,获得包含若干词和/或词组的分词处理结果信息。 

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于蔡亮华,未经蔡亮华许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/200910077557.4/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top