[发明专利]一种网页信息更新发现与统计的方法和装置

权利要求书

1.一种网页信息更新发现与统计的方法，其特征在于，步骤如下：

(1)抓取URL模块抓取网页链接的步骤；

(2)新闻链接模块判定网页链接是否为新闻链接的步骤，如果是则转到步骤(3)，否则转到步骤(1)；

(3)新闻源模块判定网页链接是否为新闻源的步骤，如果是则转到步骤(4)，否则转到步骤(1)；

(4)统计新闻信息模块获得网页的更新时间，计算新闻源的更新周期的步骤；

(41)给定一个网页新闻链接，通过TCP连接建立http请求后，通过TCP返回的http头部信息，来得到页面的更新时间；

(42)如果获得的网页更新时间为0，则先通过返回信息获得网页的编码；

(43)通过获得的网页编码，然后抓取该新闻链接中的新闻更新时间，再通过正则表达式匹配提取出新闻更新时间，更新间隔时间的公式为：t_i＝第i次更新时间-第(i-1)次更新时间，其中，t_i是第i次更新间隔时间；

(44)计算第i次更新的权值，计算公式为：

w_i＝n_i÷N，

其中，w_i是第i次更新权值，n_i是第i次更新数量，N是i次抓取得到的新闻源总的更新数量；

(45)计算新闻源的更新周期，公式为：T＝∑t_i×w_i。

2.根据权利要求1所述的一种网页信息更新发现与统计的方法，其特征在于，所述步骤(2)中，判定网页链接是否为新闻链接的步骤如下：

(21)通过正则表达式匹配判断抓取的网页链接地址字符串中是否包含“news”关键字，是则转到步骤(22)，否则继续判断并记录链接数；

(22)通过该网页链接抓取它指向的网页界面，通过正则表达式匹配来判断抓取页面里面所有字符串是否同时包含“时间”、“来源”、“标题”三个关键字，如果是则为新闻链接并记录新闻链接数，否则记录链接数；

(23)判断是否抓取完该网页链接中的所有链接，如果是则结束，否则转到步骤(21)。

3.根据权利要求1所述的一种网页信息更新发现与统计的方法，其特征在于，所述步骤(3)中，判定网页链接是否为新闻源的步骤如下：

(31)将该网页URL中新闻链接数除以该网页URL中所有链接数来确定该网页URL里面新闻链接的比例，当该URL中新闻链接比例大于80％时跳到步骤(32)，否则该网页URL不是新闻源；

(32)抓取该网页URL所指向界面的汉字，得到最大的连续汉字长度；

(33)判断连续汉字长度是否小于30个，如果是则该网页URL即为新闻源，返之不是新闻源。

4.一种网页信息更新发现与统计的装置，其特征在于：

包括:抓取URL模块:用于抓取链接；

新闻链接模块:用于判定网页URL是否为新闻链接；

新闻源模块:用于判定网页URL是否为新闻源；

统计新闻信息模块:用于获得网页的更新时间并计算新闻源的更新周期；对于给定一个网页新闻链接，通过TCP连接建立http请求后，通过TCP返回的http头部信息，来得到页面的更新时间；如果获得的网页更新时间为0，则先通过返回信息获得网页的编码；通过获得的网页编码，然后抓取该新闻链接中的新闻更新时间，再通过正则表达式匹配提取出新闻更新时间，更新间隔时间的公式为：t_i＝第i次更新时间-第(i-1)次更新时间，其中，t_i是第i次更新间隔时间；计算第i次更新的权值，计算公式为：w_i＝n_i÷N，其中，w_i是第i次更新权值，n_i是第i次更新数量，N是i次抓取得到的新闻源总的更新数量；计算新闻源的更新周期，公式为：T＝∑t_i×w_i。