[发明专利]一种网页信息更新发现与统计的方法和装置

摘要

本发明公开了一种网页信息更新发现与统计的方法和装置，属于计算机应用领域，解决传统的RSS订阅新闻无法获得新的新闻源，也无法对新闻源进行跟踪统计的问题。具体步骤如下(1)抓取URL模块抓取网页链接的步骤；(2)新闻链接模块判定网页链接是否为新闻链接的步骤，如果是则转到步骤(3)，否则转到步骤(1)；(3)新闻源模块判定网页链接是否为新闻源的步骤，如果是则转到步骤(4)，否则转到步骤(1)；(4)统计新闻信息模块获得网页的更新时间，计算新闻源的更新周期的步骤。本发明能动态抓取并分析获得的新闻源。

主权项

一种网页信息更新发现与统计的方法，其特征在于，步骤如下：(1)抓取URL模块抓取网页链接的步骤；(2)新闻链接模块判定网页链接是否为新闻链接的步骤，如果是则转到步骤(3)，否则转到步骤(1)；(3)新闻源模块判定网页链接是否为新闻源的步骤，如果是则转到步骤(4)，否则转到步骤(1)；(4)统计新闻信息模块获得网页的更新时间，计算新闻源的更新周期的步骤；(41)给定一个网页新闻链接，通过TCP连接建立http请求后，通过TCP返回的http头部信息，来得到页面的更新时间；(42)如果获得的网页更新时间为0，则先通过返回信息获得网页的编码；(43)通过获得的网页编码，然后抓取该新闻链接中的新闻更新时间，再通过正则表达式匹配提取出新闻更新时间，更新间隔时间的公式为：ti＝第i次更新时间‑第(i‑1)次更新时间，其中，ti是第i次更新间隔时间；(44)计算第i次更新的权值，计算公式为：wi＝ni÷N，其中，wi是第i次更新权值，ni是第i次更新数量，N是i次抓取得到的新闻源总的更新数量；(45)计算新闻源的更新周期，公式为：T＝∑ti×wi。