[发明专利]一种网页信息更新发现与统计的方法和装置

说明书

技术领域

一种网页信息更新发现与统计的方法和装置，用于动态抓取并分析获得的新闻源，属于计算机应用领域。

背景技术

网络爬虫是一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组成。传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。聚焦爬虫的工作流程较为复杂，需要根据一定的网页分析算法过滤与主题无关的链接，保留有用的链接并将其放入等待抓取的URL队列。然后，它将根据一定的搜索策略从队列中选择下一步要抓取的网页URL，并重复上述过程，直到达到系统的某一条件时停止。“新URL源”是指Web服务器提供的一个URL，其对应的网页内容是目录导航型，包含大量指向正文内容型(即“新闻报道”)网页的链接。该目录会定期更新，不断出现一些指向新发布新闻报道的链接，同时指向过期新闻的链接则被移除。在网络信息搜索系统中，要对不同的网站和下级链接的内容更新活跃度进行自动实时统计，统计结果作为搜索结果排序的指标之一。对于安全应用领域来说，每个浏览器也需要检测每个新闻URL的安全性以及合法性。对于搜索引擎来说，需要抓取即时新闻的更新，然而现有方法是通过RSS(简易信息聚合)订阅来获得新闻的更新。RSS是一种消息来源格式规范，用以聚合经常发布更新数据的网站，例如博客文章、新闻、音频或视频的网摘。RSS文件(或称做摘要、网络摘要、或频更新，提供到频道)包含了全文或是节录的文字，再加上发用者所订阅之网摘布数据和授权的元数据。把新闻标题、摘要(Feed)、内容按照用户的要求，“送”到用户的桌面就是RSS的目的，但是这种方法有一个缺点：无法自动获得新的新闻源，更无法跟踪统计新闻源的更新情况。

发明内容

本发明针对现有技术的不足之处提供了一种网页信息更新发现与统计的方法和装置装置，解决传统的RSS订阅新闻无法获得新的新闻源，也无法对新闻源进行跟踪统计的问题，并在分析新闻源的过程中估算新闻源的更新周期和更新频度。

为了实现上述目的，本发明采用的技术方案如下：

一种网页信息更新发现与统计的方法，其特征在于，步骤如下：

(1)抓取URL模块抓取网页链接的步骤；

(2)新闻链接模块判定网页链接是否为新闻链接的步骤，如果是则转到步骤(3)，否则转到步骤(1)；

(3)新闻源模块判定网页链接是否为新闻源的步骤，如果是则转到步骤(4)，否则转到步骤(1)；

(4)统计新闻信息模块获得网页的更新时间，计算新闻源的更新周期的步骤。

作为优选，所述步骤(2)中，判定网页链接是否为新闻链接的步骤如下：

(21)通过正则表达式匹配判断抓取的网页链接地址字符串中是否包含“news”关键字，是则转到步骤(22)，否则继续判断并记录链接数；

(22)通过该网页链接抓取它指向的网页界面，通过正则表达式匹配判断来抓取页面里面所有字符串是否同时包含“时间”、“来源”、“标题”三个关键字，如果是则为新闻链接并记录新闻链接数，否则记录链接数；

(23)判断是否抓取完该网页链接中的所有链接，如果是则结束，否则转到步骤(21)。

作为优选，所述步骤(3)中，判定网页链接是否为新闻源的步骤如下：

(31)将该网页URL中新闻链接数除以该网页URL中所有链接数来确定该网页URL里面新闻链接的比例，当该URL中新闻链接比例大于80％时跳到步骤(32)，否则该网页URL不是新闻源；

(32)抓取该网页URL所指向界面的汉字，得到最大的连续汉字长度；

(33)判断连续汉字长度是否小于30个，如果是则该网页URL即为新闻源，返之不是新闻源。

作为优选，所述步骤(4)中，获取网页的更新时间并计算新闻源的更新周期，步骤如下：

(41)给定一个网页新闻链接，通过TCP连接建立http请求后，通过TCP返回的http头部信息，来得到页面的更新时间；

(42)如果获得的网页更新时间为0，则先通过返回信息获得网页的编码；

(43)通过获得的网页编码，然后抓取该新闻链接中的新闻更新时间，再通过正则表达式匹配提取出新闻更新时间，更新间隔时间的公式为：t_i＝第i次更新时间-第(i-1)次更新时间，其中，t_i是第i次更新间隔时间；

(44)计算第i次更新的权值，计算公式为：