[发明专利]一种基于网页数据挖掘的信息采集方法

权利要求书

1.一种基于网页数据挖掘的信息采集方法，其特征在于，包括步骤：

A：从目标Web文档中获得待采集信息；

B：判断所述待采集信息类型是否是固定格式数据，如果是，执行步骤E；否则，从所述待采集信息中剔除无用信息后进行信息整理，然后执行步骤C；

C：判断所述待采集信息类型是否是半结构化数据，如果是，对所述待采集信息进行模式发现，然后执行步骤D；否则，执行步骤E；

D：判断是否保存有所述待采集信息的模式模板，如果是，执行步骤E；否则，对所述待采集信息进行模式分析后保存其模式模板，再执行步骤E；

E：对所述待采集信息进行分类，剔除重复信息后创建检索目录；

F：将所述待采集信息存储到本地计算机上。

2.如权利要求1所述的方法，其特征在于，在所述步骤F之后还包括步骤G：从所述待采集信息中获得需要使用的数据进行显示。

3.如权利要求2所述的方法，其特征在于，所述步骤G中，对所述待采集信息进行解压缩处理后，再获得需要使用的数据进行显示。

4.如权利要求1所述的方法，其特征在于，所述步骤A中的目标Web文档包括：在线Web文档、电子邮件、电子文档、新闻组、网站日志数据或者通过Web形成的交易数据库中的数据。

5.如权利要求1所述的方法，其特征在于，所述步骤B中的固定格式数据在Web上具有统计好的数据资源以供抓取；所述固定格式数据包括：天气预报、实时新闻、财经新闻、航班信息或者股票信息。

6.如权利要求1所述的方法，其特征在于，所述步骤B中的无用信息包括：多余广告链接、多余格式标记、自动识别段落或者自动识别字段。

7.如权利要求1所述的方法，其特征在于，所述步骤C中，对所述待采集信息进行模式发现包括，在同一个Web站点内部或者多个Web站点之间进行模式发现。

8.如权利要求1所述的方法，其特征在于，所述步骤D中，对所述待采集信息进行模式分析包括，验证和解释所述步骤C中产生的模式。

9.如权利要求1所述的方法，其特征在于，所述步骤F中，将所述待采集信息按照预定的压缩算法进行压缩处理后，再存储到本地计算机上。