[发明专利]网页数据的爬取方法及装置

权利要求书

1.一种网页数据的爬取方法，其特征在于，所述方法包括：

对多个待爬取网页进行分类处理，以使得每个类别包含的多个所述待爬取网页为采用同一网页模板制作的网页；

通过通用爬取模块爬取每个所述待爬取网页对应的源代码文件；

使用每个类别对应的专属内容解析模块对每个类别包含的多个所述源代码文件进行解析处理，以获得每个所述源代码文件中包含的半结构化数据；

使用每个类别对应的专属数据处理模块对每个类别包含的多个所述半结构化数据进行分解处理，以获得每个所述半结构化数据包含的多个结构化数据及多个非结构化数据；

将每个所述待爬取网页对应的多个结构化数据及多个非结构化数据进行存储。

2.根据权利要求1所述的方法，其特征在于，所述对多个待爬取网页进行分类处理，包括：

接收分类指令，并根据所述分类指令对多个所述待爬取网页进行分类处理，其中，所述分类指令中记录有每个所述待爬取网页对应的统一资源定位符URL的所属类别；或

获取预置映射关系表，并根据所述预置映射关系表对多个所述待爬取网页进行分类处理，其中，所述预置映射关系表中记录有每个所述待爬取网页对应的URL与所属类别之间的映射关系。

3.根据权利要求1所述的方法，其特征在于，在所述通过通用爬取模块爬取每个所述待爬取网页对应的源代码文件之后，所述方法还包括：

使用每个类别对应的专属内容清洗模块对每个类别包含的多个所述源代码文件进行清洗处理，以使得将每个所述源代码文件中的无用数据内容清除、将每个所述源代码文件中的不规则数据内容规则化，以及统一每个类别包含的多个所述源代码文件的数据内容结构。

4.根据权利要求1所述的方法，其特征在于，在所述使用每个类别对应的专属数据处理模块对每个类别包含的多个所述半结构化数据进行分解处理，以获得每个所述半结构化数据包含的多个结构化数据及多个非结构化数据之后，所述方法还包括：

使用每个类别对应的专属数据处理模块在每个所述半结构化数据对应的多个结构化数据中提取每个所述半结构化数据对应的多个属性值；

使用每个类别对应的专属数据处理模块对每个所述半结构化数据对应的多个非结构化数据进行汇总处理，以获得每个所述半结构化数据对应的汇总非结构化数据；

所述将每个所述待爬取网页对应的多个结构化数据及多个非结构化数据进行存储，包括：

将每个所述待爬取网页对应的多个属性值及汇总非结构化数据进行存储。

5.根据权利要求1所述的方法，其特征在于，在所述将每个所述待爬取网页对应的多个结构化数据及多个非结构化数据进行存储之后，所述方法还包括：

判断多个所述待爬取网页是否均爬取成功；

若存在未爬取网页，则重新执行爬取所述未爬取网页对应的多个结构化数据及多个非结构化数据的操作。

6.根据权利要求1-5中任一项所述的方法，其特征在于，在所述对多个待爬取网页进行分类处理之前，所述方法还包括：

根据每个所述待爬取网页对应的URL对多个所述待爬取网页进行去重处理。

7.一种网页数据的爬取装置，其特征在于，所述装置包括：

分类单元，用于对多个待爬取网页进行分类处理，以使得每个类别包含的多个所述待爬取网页为采用同一网页模板制作的网页；

爬取单元，用于通过通用爬取模块爬取每个所述待爬取网页对应的源代码文件；

解析单元，用于使用每个类别对应的专属内容解析模块对每个类别包含的多个所述源代码文件进行解析处理，以获得每个所述源代码文件中包含的半结构化数据；

分解单元，用于使用每个类别对应的专属数据处理模块对每个类别包含的多个所述半结构化数据进行分解处理，以获得每个所述半结构化数据包含的多个结构化数据及多个非结构化数据；

存储单元，用于将每个所述待爬取网页对应的多个结构化数据及多个非结构化数据进行存储。