[发明专利]数据采集方法、装置、平台、设备及存储介质

权利要求书

1.一种数据采集方法，其特征在于，包括：

接收目标任务的触发消息；所述触发消息用于触发数据采集平台执行所述目标任务，所述目标任务用于采集多个业务平台的数据；

对每个所述业务平台的网页进行数据提取，得到待存储的每个所述业务平台的第一目标数据；

存储每个所述业务平台的第一目标数据。

2.根据权利要求1所述的方法，其特征在于，所述对每个所述业务平台的网页进行数据提取，得到待存储的每个所述业务平台的第一目标数据，包括：

获取每个所述业务平台的网页对应的数据提取方式；

根据每个所述业务平台的网页对应的数据提取方式，对每个所述业务平台的网页进行数据提取，得到待存储的每个所述业务平台的第一目标数据。

3.根据权利要求2所述的方法，其特征在于，所述获取每个所述业务平台的网页对应的数据提取方式，包括：

对每个所述业务平台的网页进行文档对象模型分析，确定每个所述业务平台的网页对应的数据提取方式。

4.根据权利要求3所述的方法，其特征在于，所述对每个所述业务平台的网页进行文档对象模型分析，确定每个所述业务平台的网页对应的数据提取方式，包括：

若每个所述业务平台的网页的文档对象模型指示的网页显示数据为非下载链接，则确定所述业务平台的网页对应的数据提取方式为提取网页显示的数据；

所述根据每个所述业务平台的网页对应的数据提取方式，对每个所述业务平台的网页进行数据提取，得到待存储的每个所述业务平台的目标数据，包括：

根据所述业务平台的网页对应的提取网页显示的数据的数据提取方式，提取所述业务平台的网页的数据，得到每个所述业务平台的第一目标数据。

5.根据权利要求3所述的方法，其特征在于，所述对每个所述业务平台的网页进行文档对象模型分析，确定每个所述业务平台的网页对应的数据提取方式，包括：

若每个所述业务平台的网页的文档对象模型指示的网页显示数据为下载链接，则确定所述业务平台的网页对应的数据提取方式为通过点击网页上的链接下载数据；

所述根据每个所述业务平台的网页对应的数据提取方式，对每个所述业务平台的网页进行数据提取，得到待存储的每个所述业务平台的第一目标数据，包括：

根据所述业务平台的网页对应的通过点击网页上的链接下载数据的数据提取方式，基于所述网页上的链接，跳转至下载页面对数据进行下载，得到每个所述业务平台的目标数据。

6.根据权利要求1-5任一项所述的方法，其特征在于，所述对每个所述业务平台的网页进行数据提取，得到待存储的每个所述业务平台的第一目标数据之前，还包括：

根据所述目标任务的触发消息，获取预先存储的每个所述业务平台的登录信息；

根据所述预先存储的每个所述业务平台的登录信息登录每个所述业务平台。

7.根据权利要求1-5任一项所述的方法，其特征在于，所述对每个所述业务平台的网页进行数据提取，包括：

采用每个所述业务平台对应的线程，对每个所述业务平台的网页进行数据提取。

8.根据权利要求1-5任一项所述的方法，其特征在于，所述存储每个所述业务平台的第一目标数据之后，还包括：

接收数据分析平台发送的数据获取请求，所述数据获取请求用于请求结果数据，所述数据分析平台用于根据所述结果数据进行数据分析；

根据所述数据获取请求，从每个所述业务平台的目标数据中获取结果数据；

向所述数据分析平台发送所述结果数据。

9.根据权利要求1-5任一项所述的方法，其特征在于，所述存储每个所述业务平台的目标数据之后，还包括：

对每个所述业务平台的网页进行数据提取，得到待存储的每个所述业务平台的第二目标数据；

若所述第二目标数据与所述第一目标数据为同一对象的数据，则使用所述第二目标数据替换所述第一目标数据。