[发明专利]一种网页数据采集方法、系统

说明书

技术领域

本发明涉及数据采集领域，尤其涉及一种网页数据采集方法、装置。

背景技术

随着网络信息技术的发展、网站、论坛、博客等网页信息越来越大，搜索引擎、内容分析、舆情分析等技术都是对这些信息进行某种分析处理的，他们都用到了网页数据采集这一技术。网络数据采集方法也称作网络爬虫，是一种对网页连接进行自动分析，并自动获取信息存储到本地的数据采集方法，本文全文中所述的网络爬虫即网络数据采集方法。

目前，现有的网页数据采集系统通常采用封闭逻辑的处理办法处理网页数据，其输入一般采用自定义方式，没有采用通用标准处理，用户需要大量理解其自定义方式的含义，学习周期较长；另外，当输出如中间文件(EXECL，XML等)时，即当输出为中间文件时，通常将获取的网页数据以特定方式保存；操作人员还需要掌握数据库或EXCLE等数据结构等内容；而且当用户需要从数据库或EXCLE将获取的数据应用到企业模型上时，操作人员也需要掌握数据库或EXCLE等数据结构等内容，从而使得这项技术难以和现有企业模型结合使用，给企业造成使用上的困难。

因此，传统的仅仅下载网页的网络爬虫已经越来越不适合发展的需要了，需要一种新型的采用标准定义、并且能够方便企业根据自身需要进行定制的网络爬虫。

发明内容

本发明实施例的目的在于提出一种网页数据采集方法、装置，旨在解决现有网络爬虫不能够与企业模型结合使用的技术问题。

本发明提供的一种网页数据采集系统包括：扩展接口装置、任务接收装置、加载装置；任务执行装置：

扩展接口装置：用于预置业务模型属性；

任务接收装置：与所述扩展接口装置相连，用于接收属于预置的业务模型属性的网页数据采集指令；

加载装置：用于根据所述的网页数据采集指令、预置的执行逻辑描述文件、预置的业务模型数据形成执行逻辑描述内容；

任务执行装置，用于根据爬虫上下文进行网页数据采集。

其中，所述的任务接收装置进一步用于根据所述指令构建爬虫上下文；

所述的加载装置包括：执行逻辑文件分析单元、存储单元、业务模型处理单元、业务模型适配单元；

所述的执行逻辑文件分析单元，用于在接收到网页数据采集指令后，根据所述网页采集指令中携带的属性，到存储单元中定位预置的执行逻辑描述文件，将所述执行逻辑描述文件加载到爬虫上下文中；

所述的存储单元，用于预置执行逻辑描述文件；

所述的业务模型处理单元，用于将预置的业务模型数据与执行逻辑描述文件进行解析合并，更新爬虫上下文；

所述的业务模型适配单元，用于预置业务模型数据。

其中，所述的任务执行装置可以包括：连接单元、分析单元、循环处理单元、提取单元、转换单元和第一操作单元；

连接单元，用于根据所述的爬虫上下文打开指定网页采集地址；

分析单元，用于分析网页采集地址包含的有效链接；

循环处理单元，用于循环打开有效连接，将有效连接的第一格式转换为第二格式；

提取单元，用于分析有效连接的第二格式并到对应网页提取需要的数据到临时文件中；

转换单元，用于读取所述的临时文件中的数据并将其转换成业务模型数据；

第一操作单元，用于调用所述的业务模型数据进行业务操作。

其中，所述的任务执行装置可以包括：连接单元、分析单元、更新单元、循环处理单元、分页链接处理单元、提取单元、转换单元、第二操作单元；

连接单元，用于根据所述的爬虫上下文打开指定网页采集地址；

分析单元，用于分析网页采集地址包含的有效链接；

更新单元，用于判断有效链接是否已更新，如果已更新则设置相应的标志，没有更新的但已存在的则直接忽略；

循环处理单元，用于循环打开有效连接，将有效连接的第一格式转换为第二格式；

分页链接处理单元，用于重复分析第二格式的有效连接是否含有分页链接地址，若有则提取分页链接属性的值作为采集下一页的依据，直到所有分页链接地址都已经提取；

提取单元，用于分析有效连接第二格式并到对应网页提取需要的数据到临时文件中；

转换单元，用于读取所述的临时文件中的数据并将其转换成业务模型数据；

第二操作单元，用于调用所述的业务模型数据进行业务操作，并根据更新单元的标志进行有效连接的更新。

本发明还提供了一种网页数据采集方法，所述的方法包括：

接收网页数据采集指令；