[发明专利]信息抓取方法有效
申请号: | 200910077557.4 | 申请日: | 2009-01-22 |
公开(公告)号: | CN101788988A | 公开(公告)日: | 2010-07-28 |
发明(设计)人: | 蔡亮华;庞然;胡新宇 | 申请(专利权)人: | 蔡亮华 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 北京同立钧成知识产权代理有限公司 11205 | 代理人: | 刘芳 |
地址: | 100035 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 信息 抓取 方法 | ||
1.一种信息抓取方法,其特征在于,包括:
爬虫程序获取与搜索主题相关的网页信息,并对所述网页信息进行分词处理,获得包含若干词和/或词组的分词处理结果信息;
根据预设时间内所述词和/或词组在所述网页信息中出现的频率,对所述词和/或词组进行聚类操作,并获取第一分类数据表;
根据语义库数据对所述第一分类数据表进行语义属性归类,获取第二分类数据表;
在所述第二分类数据表中获取所述词和/或词组的语义属性参数;
根据所述语义库数据在所述第二分类数据表中查询具有新语义属性参数的所述词和/或词组;
将所述词和/或词组与所述第二分类数据表中语义属性参数相同的其他词和/或词组进行相关性分析,获取所述词和/或词组的语义数据,并将所述语义数据添加至所述语义库;
分别基于所述语义库中同一语义属性参数对所述词和/或词组进行加权运算,得到所述网页信息的语义属性参数;
若所述网页信息的语义属性参数在预设的语义属性参数范围内,则将所述网页信息保存至抓取结果队列。
2.根据权利要求1所述的信息抓取方法,其特征在于,所述根据预设时间内所述词和/或词组在所述网页信息中出现的频率,对所述词和/或词组进行聚类操作,并获取第一分类数据表之前还包括:
根据所述语义库数据在所述词和/或词组中获取未知语义数据的词和/或词组以及已知语义数据的词和/或词组。
3.根据权利要求2所述的信息抓取方法,其特征在于,所述根据预设时间内所述词和/或词组在所述网页信息中出现的频率,对所述词和/或词组进行聚类操作,并获取第一分类数据表包括:
根据预设时间内所述未知语义数据的词和/或词组和所述已知语义数据的词和/或词组在所述网页信息中出现的频率,对所述未知语义数据的词和/或词组与所述已知语义数据的词和/或词组进行聚类操作,并获取所述第一分类数据表。
4.根据权利要求3所述的信息抓取方法,其特征在于,所述在所述第二分类数据表中获取所述词和/或词组的语义属性参数包括:
在所述第二分类数据表中获取所述未知语义数据的词和/或词组的语义属性参数以及所述已知语义数据的词和/或词组的语义属性参数。
5.根据权利要求4所述的信息抓取方法,其特征在于,所述在所述第二分类数据表中获取所述未知语义数据的词和/或词组的语义属性参数以及所述已知语义数据的词和/或词组的语义属性参数之后还包括:
将所述未知语义数据的词和/或词组与所述第二分类数据表中语义属性参数相同的词和/或词组进行相关性分析,获取所述未知语义词和/或词组的语义数据,并将所述语义数据添加至所述语义库。
6.根据权利要求1所述的信息抓取方法,其特征在于,所述爬虫程序获取与搜索主题相关的网页信息,并对所述网页信息进行分词处理,获得包含若干词和/或词组的分词处理结果信息之前还包括:
爬虫程序根据网址中包含的网页标题的地址获取包含网页标题和/或正文的网页信息;
将获取到的所述网页信息进行格式转换,生成标准化数据。
7.根据权利要求6所述的信息抓取方法,其特征在于,所述爬虫程序获取与搜索主题相关的网页信息,并对所述网页信息进行分词处理,获得包含若干词和/或词组的分词处理结果信息包括:
对所述标准化数据进行相关信息提取,获取与搜索主题相关的数据信息;
根据所述语义库数据对所述与搜索主题相关的数据信息进行分词处理,获得包含若干词和/或词组的分词处理结果信息。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于蔡亮华,未经蔡亮华许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/200910077557.4/1.html,转载请声明来源钻瓜专利网。
- 信息记录介质、信息记录方法、信息记录设备、信息再现方法和信息再现设备
- 信息记录装置、信息记录方法、信息记录介质、信息复制装置和信息复制方法
- 信息记录装置、信息再现装置、信息记录方法、信息再现方法、信息记录程序、信息再现程序、以及信息记录介质
- 信息记录装置、信息再现装置、信息记录方法、信息再现方法、信息记录程序、信息再现程序、以及信息记录介质
- 信息记录设备、信息重放设备、信息记录方法、信息重放方法、以及信息记录介质
- 信息存储介质、信息记录方法、信息重放方法、信息记录设备、以及信息重放设备
- 信息存储介质、信息记录方法、信息回放方法、信息记录设备和信息回放设备
- 信息记录介质、信息记录方法、信息记录装置、信息再现方法和信息再现装置
- 信息终端,信息终端的信息呈现方法和信息呈现程序
- 信息创建、信息发送方法及信息创建、信息发送装置