[发明专利]用户自由点选配置的网页数据采集方法及系统

说明书

技术领域

本公开涉及计算机技术领域，尤其涉及一种用户自由点选配置的网页数据采集方法及数据采集系统。

背景技术

近年来互联网发展迅猛，随之而来的数据量越来越大。非结构化公开网页是重要的数据来源，而传统的网页数据抓取，都需要研究网页源代码、抓包工具等各种复杂的功能或编码。

目前的网页抓取技术往往需要数据采集人员具备技术背景，且抓取新的网页需要对其结构进行分析，对源网页代码进行分析，这涉及到正则表达式、网络爬虫等专业化知识，对技术人员要求高，抓取效率低。当前市场主流的抓取工具也只是仅仅提供网页的配置方式，仍然需要用户具有一定的网页技术知识背景，没有人机交互的智能傻瓜式操作。另外，新的网页需求又要开发新的抓取程序，网页改版也要做抓取程序的适配，这也导致一些人力财力的浪费。

发明内容

本公开的目的在于提供一种用户自由点选配置的网页数据采集方法及数据采集系统，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或者多个问题。

根据本公开实施例的第一方面，提供一种用户自由点选配置的网页数据采集方法，该方法包括：

接收用户输入的预设网址，根据所述预设网址对与该预设网址对应的第一网页进行分析处理，以将所述第一网页转换为第二网页；其中所述第一网页包括非结构化数据，所述第二网页包括转换后的结构化数据；

根据所述第二网页分析整理网页数据，并将整理得到的网页数据显示于预设用户界面上；

接收对所述预设用户界面上的网页数据的抓取选择操作，并对被选的网页数据进行自动化采集。

本公开的实施例中，所述根据所述预设网址对与该预设网址对应的第一网页进行分析处理，以将所述第一网页转换为第二网页的步骤，包括：

根据所述预设网址获取所述第一网页，对所述第一网页进行网页模型构建；

根据构建的网页模型对所述第一网页进行分析以将所述第一网页转换为所述第二网页。

本公开的实施例中，基于所述网页模型由后台采集引擎智能分析所述第一网页，以去除所述第一网页中无关的预设非结构化数据，进而将所述第一网页转换为结构化数据的所述第二网页。

本公开的实施例中，所述对被选的网页数据进行自动化采集的步骤，包括：

通过构建数据采集任务在后台实现自动化采集被选的网页数据，并实时将采集的网页数据推送给用户。

本公开的实施例中，所述预设用户界面包括多个用于点选的预设控件，所述网页数据包括多个不同类别的数据，且每个所述预设控件关联一个类别的数据；所述接收对所述预设用户界面上的网页数据的抓取选择操作的步骤，包括：

接收对所述预设用户界面上的所述预设控件的触控操作，以将与该预设控件关联的网页数据确定为所述被选的网页数据。

根据本公开实施例的第二方面，提供一种用户自由点选配置的网页数据采集系统，该系统包括：

数据分析转换模块，用于接收用户输入的预设网址，根据所述预设网址对与该预设网址对应的第一网页进行分析处理，以将所述第一网页转换为第二网页；其中所述第一网页包括非结构化数据，所述第二网页包括转换后的结构化数据；

数据整理显示模块，用于根据所述第二网页分析整理网页数据，并将整理得到的网页数据显示于预设用户界面上；

数据选取采集模块，用于接收对所述预设用户界面上的网页数据的抓取选择操作，并对被选的网页数据进行自动化采集。

本公开的实施例中，所述数据分析转换模块，具体用于：

根据所述预设网址获取所述第一网页，对所述第一网页进行网页模型构建；

根据构建的网页模型对所述第一网页进行分析以将所述第一网页转换为所述第二网页。

本公开的实施例中，所述数据分析转换模块，具体用于：基于所述网页模型由后台采集引擎智能分析所述第一网页，以去除所述第一网页中无关的预设非结构化数据，进而将所述第一网页转换为结构化数据的所述第二网页。

本公开的实施例中，所述数据选取采集模块，具体用于通过构建数据采集任务在后台实现自动化采集被选的网页数据，并实时将采集的网页数据推送给用户。

本公开的实施例中，所述预设用户界面包括多个用于点选的预设控件，所述网页数据包括多个不同类别的数据，且每个所述预设控件关联一个类别的数据；

所述数据选取采集模块，用于接收对所述预设用户界面上的所述预设控件的触控操作，以将与该预设控件关联的网页数据确定为所述被选的网页数据。