[发明专利]解析爬虫爬取的网页数据的方法及装置

说明书

本发明属于数据处理技术领域，提供了一种解析爬虫爬取的网页数据的方法及装置。该方法包括：根据网页HTML结构中的table标签，提取网页数据；根据预定的类字段名称与网页数据的映射关系，将提取得到的网页数据解析映射到预定义的类字段中。本发明解析爬虫爬取的网页数据的方法及装置，能够提高爬虫爬取的网页数据的解析效率，无需重复编写解析代码。

技术领域

本发明涉及数据处理技术领域，具体涉及一种解析爬虫爬取的网页数据的方法及装置。

背景技术

大部分网页的HTML结构是table标签。网络爬虫爬取到网页数据后，根据页面table标签遍历tr、td，一行一列逐个进行数据解析，解析效率低，且重复代码多。

并且，假若网页改版，则需要重新编写解析代码。例如，对于社保信息的网页，若改版后姓名选项由原来的第一列变成了第二列，则原来的爬虫解析代码失效，需要重新编写代码。

如何提高爬虫爬取的网页数据的解析效率，无需重复编写解析代码，是本领域技术人员亟需解决的问题。

发明内容

针对现有技术中的缺陷，本发明提供解析爬虫爬取的网页数据的方法及装置，能够提高爬虫爬取的网页数据的解析效率，无需重复编写解析代码。

第一方面，本发明提供一种解析爬虫爬取的网页数据的方法，该方法包括：

根据网页HTML结构中的table标签，提取网页数据；

根据预定的类字段名称与网页数据的映射关系，将提取得到的网页数据解析映射到预定义的类字段中。

进一步地，根据网页HTML结构中的table标签，提取网页数据，具体包括：

根据指定的网页HTML结构中的table标签，提取该指定的网页HTML结构中的数据，生成二维数组，二维数组包括表的标题和明细数据；

根据预定的类字段名称与网页数据的映射关系，将提取得到的网页数据解析映射到预定义的类字段中，具体包括：

根据预定的类字段名称与表的标题的映射关系，解析二维数组，并将相应的明细数据映射到对应的类字段中。

进一步地，生成二维数组之后，解析二维数组之前，该方法还包括：

对二维数组的数据进行清洗；

根据预定的类字段名称与表的标题的映射关系，解析二维数组，并将相应的明细数据映射到对应的类字段中，具体包括：

根据预定的类字段名称与表的标题的映射关系，对清洗后的二维数组进行解析，并将相应的明细数据映射到对应的类字段中。

进一步地，根据网页HTML结构中的table标签，提取网页数据之前，该方法还包括：爬取获得指定的网页HTML结构。

进一步地，根据预定的类字段名称与表的标题的映射关系，解析二维数组之前，该方法还包括：根据类字段名称和标题的语意，建立类字段名称与标题的映射关系。

第二方面，本发明提供一种解析爬虫爬取的网页数据的装置，该装置包括提取模块和解析模块，提取模块用于根据网页HTML结构中的table标签，提取网页数据；解析模块用于根据预定的类字段名称与网页数据的映射关系，将提取得到的网页数据解析映射到预定义的类字段中。

进一步地，提取模块根据网页HTML结构中的table标签，提取网页数据时，具体用于：根据指定的网页HTML结构中的table标签，提取该指定的网页HTML结构中的数据，生成二维数组，二维数组包括表的标题和明细数据；