[发明专利]网页数据采集的方法和装置

摘要

本发明公开了一种网页数据采集的方法和装置，涉及互联网技术领域，能够解决现有技术中当目标网页页面布局或者数据提取需求发生改变时，数据采集程序需要大幅度改变，从而造成灵活性低的问题。本发明的方法包括：下载目标网页的网页内容；将网页内容的格式转化为可扩展标记语言XML格式；获取对应目标网页的配置文件，配置文件中包括至少一个规则配置项，规则配置项为用于定位和提取目标数据所需的配置参数；根据配置文件，从XML格式的网页内容中提取目标数据。本发明适用于利用配置文件的配置信息采集网页数据的场景中。

主权项

一种网页数据采集的方法，其特征在于，所述方法包括：下载目标网页的网页内容；将所述网页内容的格式转化为可扩展标记语言XML格式；获取对应所述目标网页的配置文件，所述配置文件中包括至少一个规则配置项，所述规则配置项为用于定位和提取目标数据所需的配置参数；根据所述配置文件，从XML格式的网页内容中提取所述目标数据。