[发明专利]网页解析器

说明书

本申请提出一种网页解析器，属于计算机技术领域。其中，该网页解析器包括：数据接收器，用于接收待解析的数据源，其中，待解析的数据源中包括多种类型的网页数据，并根据多种类型的网页数据生成待解析的数据源对应的数据解析列表；解析器框架，其中，解析器框架包括多层解析器，多层解析器按照层级依次对数据解析列表之中的多种类型的网页数据进行解析，并将解析之后的网页数据从数据解析列表之中删除。由此，通过将多种类型的解析器分层组合以形成分层解析器框架，从而可以对不同类型的数据进行统一解析，不仅降低了开发、运维成本，而且提高了解析效率。

技术领域

本申请涉及计算机技术领域，尤其涉及数据解析技术领域，提出一种网页解析器。

背景技术

随着科技的不断发展，互联网已经深入到人们日常生活的方方面面。如今网络上的数据类型繁多，格式千变万化，如视频数据、新闻数据、评论数据等，这些数据展现格式不一，导致对不同数据格式的数据进行解析，需要不同的解析器，不仅开发、运维成本高，而且解析效率低下。

发明内容

本申请提出的网页解析器，用于解决相关技术中，由于网络上的数据类型繁多，导致对不同数据格式的数据进行解析，需要不同的解析器，不仅开发、运维成本高，而且解析效率低下的问题。

本申请一方面实施例提出的网页解析器，包括：数据接收器，用于接收待解析的数据源，其中，所述待解析的数据源中包括多种类型的网页数据，并根据所述多种类型的网页数据生成所述待解析的数据源对应的数据解析列表；解析器框架，其中，所述解析器框架包括多层解析器，所述多层解析器按照层级依次对所述数据解析列表之中的所述多种类型的网页数据进行解析，并将解析之后的网页数据从所述数据解析列表之中删除。

可选地，在本申请实施例一种可能的实现形式中，所述网页解析器，还包括：

存储器，用于获取所述多层解析器的解析结果，并根据所述解析结果对应的网页数据的类型，将所述解析结果存储至对应的数据库。

可选地，在本申请实施例另一种可能的实现形式中，所述多层解析器中的每层解析器分别具有不同的优先级，并根据所述每层解析器分别对应的优先级，确定所述每层解析器的层级。

可选地，在本申请实施例再一种可能的实现形式中，根据所述每层解析器分别对应的解析准确度、人工成本、硬件成本中的至少一个，确定所述每层解析器分别对应的优先级。

可选地，在本申请实施例又一种可能的实现形式中，所述多层解析器包括第一至第三解析器，其中，所述第一解析器为XPath解析器、所述第二解析器为正则解析器，所述第三解析器为通用解析器。

可选的，在本申请实施例又一种可能的实现形式中，所述解析器框架，还包括：

格式统一化模块，用于对所述多种类型的网页数据进行格式统一化处理。

可选的，在本申请实施例另一种可能的实现形式中，所述每层解析器按照预设的数据抽取规则分别对所述多种类型的网页数据进行抽取，并对抽取到的网页数据进行解析。

上述申请中的任一个实施例具有如下优点或有益效果：通过将多种类型的解析器分层组合以形成分层解析器框架，从而可以对不同类型的数据进行统一解析，不仅降低了开发、运维成本，而且提高了解析效率。通过网页解析器的数据接收器接收包括多种类型的网页数据的待解析的数据源，并根据多种类型的网页数据生成待解析的数据源对应的数据解析列表，进而通过解析器框架中包括的多层解析器，按照层级依次对数据解析列表中的多种类型的网页数据进行解析，并将解析之后的网页数据从数据解析列表中删除，从而克服了对不同数据格式的数据进行解析，需要不同的解析器，不仅开发、运维成本高，而且解析效率低下的问题，进而达到了将多种类型的解析器分层组合以形成分层解析器框架，从而可以对不同类型的数据进行统一解析，不仅降低了开发、运维成本，而且提高了解析效率的技术效果。