[发明专利]一种网页数据采集方法、系统

权利要求书

1.一种网页数据采集系统，其特征在于，所述的系统包括：扩展接口装置、任务接收装置、加载装置；任务执行装置：

扩展接口装置：用于预置业务模型属性；

任务接收装置：与所述扩展接口装置相连，用于接收属于预置的业务模型属性的网页数据采集指令；

加载装置：用于根据所述的网页数据采集指令、预置的执行逻辑描述文件、预置的业务模型数据形成执行逻辑描述内容；

任务执行装置，用于根据爬虫上下文进行网页数据采集。

2.根据权利要求1所述的网页数据采集系统，其特征在于，所述的任务接收装置进一步用于根据所述指令构建爬虫上下文；

所述的加载装置包括：执行逻辑文件分析单元、存储单元、业务模型处理单元、业务模型适配单元；

所述的执行逻辑文件分析单元，用于在接收到网页数据采集指令后，根据所述网页采集指令中携带的属性，到存储单元中定位预置的执行逻辑描述文件，将所述执行逻辑描述文件加载到爬虫上下文中；

所述的存储单元，用于预置执行逻辑描述文件；

所述的业务模型处理单元，用于将预置的业务模型数据与执行逻辑描述文件进行解析合并，更新爬虫上下文；

所述的业务模型适配单元，用于预置业务模型数据。

3.根据权利要求2所述的网页数据采集系统，其特征在于，所述的任务执行装置可以包括：连接单元、分析单元、循环处理单元、提取单元、转换单元和第一操作单元；

连接单元，用于根据所述的爬虫上下文打开指定网页采集地址；

分析单元，用于分析网页采集地址包含的有效链接；

循环处理单元，用于循环打开有效连接，将有效连接的第一格式转换为第二格式；

提取单元，用于分析有效连接的第二格式并到对应网页提取需要的数据到临时文件中；

转换单元，用于读取所述的临时文件中的数据并将其转换成业务模型数据；

第一操作单元，用于调用所述的业务模型数据进行业务操作。

4.根据权利要求2所述的网页数据采集系统，其特征在于，所述的任务执行装置可以包括：连接单元、分析单元、更新单元、循环处理单元、分页链接处理单元、提取单元、转换单元、第二操作单元；

连接单元，用于根据所述的爬虫上下文打开指定网页采集地址；

分析单元，用于分析网页采集地址包含的有效链接；

更新单元，用于判断有效链接是否已更新，如果已更新则设置相应的标志，没有更新的但已存在的则直接忽略；

循环处理单元，用于循环打开有效连接，将有效连接的第一格式转换为第二格式；

分页链接处理单元，用于重复分析第二格式的有效连接是否含有分页链接地址，若有则提取分页链接属性的值作为采集下一页的依据，直到所有分页链接地址都已经提取；

提取单元，用于分析有效连接第二格式并到对应网页提取需要的数据到临时文件中；

转换单元，用于读取所述的临时文件中的数据并将其转换成业务模型数据；

第二操作单元，用于调用所述的业务模型数据进行业务操作，并根据更新单元的标志进行有效连接的更新。

5.一种网页数据采集方法，其特征在于，所述的方法包括：

接收网页数据采集指令；

根据所述的网页数据采集指令、预置的执行逻辑描述文件、预置的业务模型数据形成执行逻辑描述内容；

根据所述执行逻辑描述内容进行网页数据采集。

6.根据权利要求5所述的网页数据采集方法，其特征在于，所述接收网页数据采集指令后进一步根据所述指令构建爬虫上下文；

所述的“根据所述的网页数据采集指令、预置的执行逻辑描述文件、预置的业务模型数据形成执行逻辑描述内容”具体为：

接收到网页数据采集指令后，根据所述网页采集指令中携带的属性，到预置的执行逻辑描述文件中定位执行逻辑描述文件，将所述执行逻辑描述文件加载到爬虫上下文中；

将预置的业务模型数据与执行逻辑描述文件进行解析合并，更新爬虫上下文。