[发明专利]数据采集方法和装置、电子设备、计算机可读介质

说明书

本公开提供了一种数据采集方法和装置，涉及数据处理技术领域，具体涉及自然语言处理、图像处理等技术领域。具体实现方案为：获取互联网数据以及所述互联网数据的反馈特征；对互联网数据进行数据格式筛选，并将筛选后的数据存储至筛选库；基于所述反馈特征和所述互联网数据的全链路特征，对筛选库中的数据进行分层处理，并将分层后的数据存储至分层库；基于所述分层库中各个数据的层级，调整所述筛选库中与所述分层库的数据对应的数据。该实施方式提高了采集有效互联网数据的准确率。

技术领域

本公开涉及数据处理技术领域，具体涉及自然语言处理、图像处理等 技术领域，尤其涉及一种数据采集方法和装置、电子设备、计算机可读介 质以及计算机程序产品。

背景技术

互联网数据主体是网页数据，对这些网页数据的筛选挖掘，一般采用 对网页进行全量判断的网页的单层筛选方式。

针对网页的单层筛选方式，需要处理全部网页，这要求网页的全量获 取、存储和计算，存储和计算资源存在巨大压力。

发明内容

提供了一种数据采集方法和装置、电子设备、计算机可读介质以及计 算机程序产品。

根据第一方面，提供了一种数据采集方法，该方法包括：获取互联 网数据以及互联网数据的反馈特征；对互联网数据进行数据格式筛选， 并将筛选后的数据存储至筛选库；基于反馈特征和互联网数据的全链路 特征，对筛选库中的数据进行分层处理，并将分层后的数据存储至分层 库；基于分层库中各个数据的层级，调整筛选库中与分层库的数据对应 的数据。

根据第二方面，提供了一种数据采集装置，该装置包括：获取单 元，被配置成获取互联网数据以及互联网数据的反馈特征；筛选单元， 被配置成对互联网数据进行数据格式筛选，并将筛选后的数据存储至筛 选库；优化单元，被配置成基于反馈特征和互联网数据的全链路特征， 对筛选库中的数据进行分层处理，并将分层后的数据存储至分层库；调 整单元，被配置成基于分层库中各个数据的层级，调整筛选库中与分层 库的数据对应的数据。

根据第三方面，提供了一种电子设备，该电子设备包括：至少一个处 理器；以及与至少一个处理器通信连接的存储器，其中，存储器存储有可 被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一 个处理器能够执行如第一方面任一实现方式描述的方法。

根据第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存 储介质，计算机指令用于使计算机执行如第一方面任一实现方式描述的方 法。

根据第五方面，提供了一种计算机程序产品，包括计算机程序，计算 机程序在被处理器执行时实现如第一方面任一实现方式描述的方法。

本公开的实施例提供的数据采集方法和装置，首先，获取互联网数据 以及互联网数据的反馈特征；其次，对互联网数据进行数据格式筛选，并 将筛选后的数据存储至筛选库；从次，基于反馈特征和互联网数据的全链 路特征，对筛选库中的数据进行分层处理，并将分层后的数据存储至分层 库。最后，基于分层库中各个数据的层级，调整筛选库中与分层库的数据 对应的数据。由此，对互联网数据进行格式筛选，去除互联网数据中无效 数据，减小了网络资源存储和计算的压力；基于反馈特征和互联网数据的 全链路特征，对筛选后的数据进行分层处理，实现了互联网数据多层筛选 过滤；基于分层库中各个数据的层级，调整筛选库中与分层库的数据对应 的数据，可以保证全链路各个环节的协调合作，当优化后的互联网数据再 次投入互联网，可以使互联网数据形成一个良性循环。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键 或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下 的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开数据采集方法的一个实施例的流程图；