[发明专利]一种面向用户的WEB信息自动提取方法

权利要求书

1.一种面向用户的WEB信息自动提取方法，其特征在于包含如下步骤：

(1)根据用户给定的WEB站点链接列表，依次遍历每个WEB站点，获得用户关注页面；

(2)识别WEB站点中每个页面的链接地址并存储；

(3)提取用户关注页面的标题、发布时间、页面正文；

(4)将提取的内容格式规范化后存储于数据库和文件系统中，其中页面标题、发布时间存储于数据库中，页面正文存储于文件系统中；

(5)去除抽取的重复信息。

2.根据权利要求1所述的一种面向用户的WEB信息自动提取方法，其特征在于：所述步骤(1)中，用户给定的链接列表为用户手动输入或从系统默认的WEB站点列表中选择获得。

3.根据权利要求1所述的一种面向用户的WEB信息自动提取方法，其特征在于：所述步骤(2)识别连接地址并存储具体包括以下步骤：

2a)对于每个WEB站点，以一个URL作为信息来源，根据HTML文档的DOM树结构获得相应WEB页面的HTML源代码，再根据WEB页面的编码格式获得WEB页面的分页链接格式，根据分页链接格式获得分页的全部链接地址，再根据分页链接地址获得所有分页的HTML源代码；

2b)依次获取用户关注的WEB站点列表中每个URL，连接并解析相应页面，提取页面中所有链接地址后，逐个判断这些链接是否为网站内部链接，且是否已存在于待检索链接队列或已检索链接队列中，如果某一链接被判定为该网站内部链接，且不存在于待检索链接队列与已检索链接队列中，则将该链接地址存入待检索链接队列，否则不对该链接地址进行操作，直接获取下一个链接进行判断；

2c)在该页面所有链接处理完毕后，系统将从待检索链接队列中取出下一个链接地址替代用户关注的WEB站点的首页链接地址，重复步骤2a)到2b)，处理完毕后，将该链接存入已检索链接队列，然后继续从待检索链接队列中提取下一链接地址，如此循环，直到待检索链接队列为空，则结束当前站点的检索工作，开始对下一站点进行检索。

4.根据权利要求1所述的一种面向用户的WEB信息自动提取方法，其特征在于：所述步骤(3)具体包括以下步骤：

3a)提取标题,从目标链接队列中逐个提取信息链接地址，并对该链接地址进行连接与页面解析，过滤出该页面HTML文档中的<title>标签，提取出符合要求的节点存入节点列表，然后获取节点的显示文本信息，并对所提取的信息进行适应性修改；

3b)提取正文，提取主体内容，过滤出HTML文档中的<p>节点、<div>节点、<div>节点作为先辈节点的节点、<a>节点以及拥有后代节点<a>的节点；

3c)提取发布时间，当页面解析完成后通过正则表达式匹配法提取出信息发布时间。

5.根据权利要求1所述的一种面向用户的WEB信息自动提取方法，其特征在于：所述步骤(5)去除抽取重复的信息具体为：对一个信息站点进行过一次采集后，为了避免对已采集信息的重复采集，仅对新产生的页面进行采集，提取信息基本属性后，在数据库中查询该信息是否存在，如果存在，直接提取下一信息链接进行操作，否则，将该条信息存入系统。