[发明专利]数据采集方法和装置、电子设备、计算机可读介质

权利要求书

1.一种数据采集方法，所述方法包括：

获取互联网数据以及所述互联网数据的反馈特征；

对所述互联网数据进行数据格式筛选，并将筛选后的数据存储至筛选库；

基于所述反馈特征和所述互联网数据的全链路特征，对筛选库中的数据进行分层处理，并将分层后的数据存储至分层库，所述全链路特征为所述互联网数据在；

基于所述分层库中各个数据的层级，调整所述筛选库中与所述分层库的数据对应的数据。

2.根据权利要求1所述的方法，其中，所述基于所述分层库中各个数据的层级，调整所述筛选库中与所述分层库的数据对应的数据，包括：

确定所述分层库中属于最低层级的数据，删除所述筛选库中与所述最低层级的数据对应的数据。

3.根据权利要求1所述的方法，所述方法还包括：

分别对所述分层库中的数据和所述筛选库中的数据进行采样，并将采样后的数据存储至样本库；

从所述样本库抽取样本，并基于抽取的样本训练全链路模型，所述全链路模型用于确定所述样本库的数据的分布状态。

4.根据权利要求3所述的方法，所述方法还包括：

响应于确定样本库中的所有数据符合预设的全链路分布状态，确定所述互联网数据在全链路分布正常。

5.根据权利要求1-4之一所述的方法，其中，所述互联网数据包括：链接数据，所述筛选库包括：链接库和网页库；所述对所述互联网数据进行数据格式筛选，并将筛选后的数据存储至筛选库包括：

去除所述链接数据中符合预设链接格式的数据，得到筛选后的链接数据，将筛选后的链接数据存储至所述链接库；

基于所述链接库中所有链接数据，得到抓取网页数据；

去除所述抓取网页数据中符合预设网页条件的网页数据，得到筛选后的抓取网页数据，将筛选后的抓取网页数据存储至所述网页库。

6.根据权利要求5所述的方法，其中，所述预设链接格式的数据包括以下一项或多项：

垃圾搜索链接、搜索留痕链接、无价值链接、以及命名中存在预设的符号或/和关键词链接。

7.根据权利要求5所述的方法，其中，所述互联网数据还包括：初始网页数据，所述方法包括：

去除所述初始网页数据中符合预设网页条件的网页数据，得到筛选后的初始网页数据，将筛选后的初始网页数据存储至所述网页库。

8.根据权利要求1-4之一所述的方法，其中，所述互联网数据包括：初始网页数据，所述筛选库包括：网页库；所述对所述互联网数据进行数据格式筛选，并将筛选后的数据存储至筛选库包括：

去除所述初始网页数据中符合预设网页条件的网页数据，得到筛选后的初始网页数据，将筛选后的初始网页数据存储至所述网页库。

9.根据权利要求1-4之一所述的方法，所述方法还包括：

接收用户的访问请求；

基于所述访问请求，向所述用户展示所述分层库中的数据。

10.根据权利要求9所述的方法，所述方法还包括：

接收新的互联网数据以及所述新的互联网数据的反馈特征；

基于所述新的互联网数据的反馈特征和所述新的互联网数据的全链路特征，调整所述分层库中各个数据的层级；

基于所述分层库中各个数据的层级，对所述新的互联网数据进行筛选与存储。

11.一种数据采集装置，所述装置包括：

获取单元，被配置成获取互联网数据以及所述互联网数据的反馈特征；

筛选单元，被配置成对所述互联网数据进行数据格式筛选，并将筛选后的数据存储至筛选库；

优化单元，被配置成基于所述反馈特征和所述互联网数据的全链路特征，对筛选库中的数据进行分层处理，并将分层后的数据存储至分层库；

调整单元，被配置成基于所述分层库中各个数据的层级，调整所述筛选库中与所述分层库的数据对应的数据。