[发明专利]一种互联网信息发掘方法

权利要求书

1.一种互联网信息发掘方法，其特征在于，所述方法包括如下步骤：

一、针对互联网站点，归纳其发布网页的规律；

二、针对存在网页发布规律、且发布规律可预测的站点，生成相应的发掘算法，计算当前时刻网页URL生成规则中动态部分的最新值，并输出待采集的网页URL集合；

三、发布网页URL生成规则，规则包含静态部分与动态部分；发掘行为逻辑，通过网页URL生成规则输出有效的网页URL；

四、采集已生成发掘算法的站点数据，以发掘算法计算生成对应站点的新发布网页URL；

五、网页信息采集程序以发掘算法生成的新发布网页URL为输入进行数据采集。

2.如权利要求1所述的一种互联网信息发掘方法，其特征在于，所述步骤二具体包括如下步骤：

201、读取URL生成规则以及该规则当前动态部分数值N；

202、估算当前时刻动态部分预估值M；

203、生成预估值M后，按URL生成规则生成预估URL；

204、请求预估URL，通过预估URL请求结果判断预估值M是否合理；

如果请求成功，预估URL存在，则认为预估值M合理；

如果请求不成功，预估URL不存在，则认为预估值M不合理，返回步骤202重新调整预估值M；

205、确定预估值M后，按URL生成规则生成N到M区间内所有URL，并将其输出作为采集程序的输入；

206、以本次预估值M作为该URL生成规则动态部分数值，供下次处理使用。

3.如权利要求2所述的一种互联网信息发掘方法，其特征在于：数值上MN，且M以序列方式递增，包括按日期递增或者按自然数递增。

4.如权利要求3所述的一种互联网信息发掘方法，其特征在于：所述预估值M在按自然数递增的情况下，其增长的跨度为固定值或在某一区间内的随机值。

5.如权利要求1所述的一种互联网信息发掘方法，其特征在于，所述步骤三中，网页URL生成规则的算法处理流程包括：

301、选择需要采集的站点，并收集该站点的超链接数据；

302、对收集到的超链接数据进行分类，按照URL格式进行模式匹配分类；

303、计算每个模式分类下的URL静态成分和动态成分；

304、分析每个模式分类下的动态成分是否可预测，即动态成分是否在数学上存在时间连续性：若动态部分按时间连续变化或按自然数连续变化，则认为可预测；若动态部分在数学上呈离散变化，则认为不可预测；

305、输出网页URL生成规则。

6.如权利要求5所述的一种互联网信息发掘方法，其特征在于：步骤301中，收集该站点的超链接数据的方式为广度优先搜索算法，所述超链接数据的数量大于等于1000条。

7.如权利要求5所述的一种互联网信息发掘方法，其特征在于：步骤305中，所述网页URL生成规则以正则表达式方式输出，一个站点存在复数个不同的网页URL生成规则。