[发明专利]一种互联网信息发掘方法

说明书

本发明公开了一种互联网信息发掘方法，包括：针对互联网站点，归纳其发布网页的规律；针对存在网页发布规律、且发布规律可预测的站点，生成相应的发掘算法，计算当前时刻网页URL生成规则中动态部分的最新值，并输出待采集的URL集合；发布网页URL生成规则，规则包含静态部分与动态部分；发掘行为逻辑，通过网页URL生成规则输出有效的网页URL；采集已生成发掘算法的站点数据，以发掘算法计算生成对应站点的新发布网页URL；网页信息采集程序以发掘算法生成的新发布网页URL为输入进行数据采集。本发明通过一种全新的算法来弥补广度优先搜索算法的缺点，提高互联网采集数据的及时性、完整性和经济性。

技术领域

本发明公开了一种互联网信息发掘方法，涉及互联网信息技术领域。

背景技术

随着科技的进步，互联网信息进入一个爆炸式、多元式的时代，互联网成为一个巨大的信息库，互联网信息采集可以使您在信息采集、资源整合、资金利用、人力投入等方面节约大量资源，广泛应用于行业门户网站信息采集、竞争对手情报数据搜集、网站内容系统建设、垂直搜索、舆情监测、科研等领域。

常规的互联网信息采集程序工作时，发现新的网页是通过分析已知网页的HTML代码,获取网内的超级链接信息，使用广度优先搜索算法和增量存储算法，实现自动地连续分析链接、抓取文件、处理和保存数据。

现有的互联网采集程序基于广度优先搜索算法发现新的互联网网页存在大量不确定性，主要表现在：

1、不能够及时发现最新的页面，使得采集及时性不确定。

2、不确定是否能够发现目标站点所有页面，不能够做到目标站点全覆盖采集。

3、由于互联网网页内超链接信息庞大，再好的广度优先算法也不能够有效减少网页超链接路径，所以发现新页面的资源开销相对较大。

发明内容

本发明所要解决的技术问题是：针对现有技术的缺陷，提供一种互联网信息发掘方法，通过一种全新的算法来弥补广度优先搜索算法的缺点，提高互联网采集数据的及时性、完整性和经济性。

本发明为解决上述技术问题采用以下技术方案：

一种互联网信息发掘方法，所述方法包括如下步骤：

一、针对互联网站点，归纳其发布网页的规律；

二、针对存在网页发布规律、且发布规律可预测的站点，生成相应的发掘算法，计算当前时刻网页URL生成规则中动态部分的最新值，并输出待采集的网页URL集合；

三、发布网页URL生成规则，规则包含静态部分与动态部分；发掘行为逻辑，通过网页URL生成规则输出有效的网页URL；

四、采集已生成发掘算法的站点数据，以发掘算法计算生成对应站点的新发布网页URL；

五、网页信息采集程序以发掘算法生成的新发布网页URL为输入进行数据采集。

作为本发明的进一步优选方案，所述步骤二具体包括如下步骤：

201、读取URL生成规则以及该规则当前动态部分数值N；

202、估算当前时刻动态部分预估值M；数值上MN，且以序列方式递增，包括按日期递增，或者按自然数递增。所述预估值M在按自然数递增的情况下，其增长的跨度为固定值或在某一区间内的随机值。

203、生成预估值M后，按URL生成规则生成预估URL；

204、请求预估URL，通过预估URL请求结果判断预估值M是否合理；

如果请求成功，预估URL存在，则认为预估值M合理；

如果请求不成功，预估URL不存在，则认为预估值M不合理，返回步骤202重新调整预估值M；