[发明专利]数据采集方法、装置、平台、设备及存储介质

说明书

本申请提供一种数据采集方法、装置、平台、设备及存储介质。该数据采集方法包括：接收目标任务的触发消息；触发消息用于触发数据采集平台执行目标任务，目标任务用于采集多个业务平台的数据；对每个业务平台的网页进行数据提取，得到待存储的每个业务平台的第一目标数据；存储每个业务平台的第一目标数据。本申请的方法提高了数据采集效率，进一步可以提高数据分析效率。

技术领域

本申请涉及数据处理技术，尤其涉及一种数据采集方法、装置、平台、设备及存储介质。

背景技术

通过从不同数据平台获取不同维度的数据，进行网络服务质量的分析，能够获得网络服务质量，进而针对网络服务质量较差的用户改善网络服务，提升用户的网络服务质量。

目前，是通过人工手动从不同数据平台的数据库中采集不同维度的数据，并对采集的不同数据平台的数据进行处理，再存储至用于进行数据分析的目标数据库中。之后，可以从目标数据库中采集不同数据平台的数据进行网络服务质量分析。

然而，手动采集数据的方式存在数据采集效率低的问题。

发明内容

本申请提供一种数据采集方法、装置、平台、设备及存储介质，用以解决手动采集数据的方式存在数据采集效率低的问题。

第一方面，本申请提供一种数据采集方法，包括：接收目标任务的触发消息；所述触发消息用于触发数据采集平台执行所述目标任务，所述目标任务用于采集多个业务平台的数据；对每个所述业务平台的网页进行数据提取，得到待存储的每个所述业务平台的第一目标数据；存储每个所述业务平台的第一目标数据。

第二方面，本申请提供一种数据采集装置，包括：接收模块，用于接收目标任务的触发消息；所述触发消息用于触发数据采集平台执行所述目标任务，所述目标任务用于采集多个业务平台的数据；数据提取模块，用于对每个所述业务平台的网页进行数据提取，得到待存储的每个所述业务平台的目标数据；存储模块，用于存储每个所述业务平台的目标数据。

第三方面，本申请提供一种数据采集平台，用于执行如第一方面所述的方法。

第四方面，本申请提供一种电子设备，包括：处理器，以及与所述处理器通信连接的存储器；所述存储器存储计算机执行指令；所述处理器执行所述存储器存储的计算机执行指令，以实现如第一方面所述的方法。

第五方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如第一方面所述的方法。

本申请提供的数据采集方法、装置、平台、设备及存储介质，通过接收目标任务的触发消息，触发消息用于触发数据采集平台执行目标任务，目标任务用于采集多个业务平台的数据；对每个业务平台的网页进行数据提取，得到待存储的每个业务平台的第一目标数据；存储每个业务平台的第一目标数据。由于是通过接收目标任务的触发消息来触发数据采集平台采集多个业务平台的数据，因此，能够实现自动采集多个业务平台的数据。另外，由于是对每个业务平台的网页进行数据提取，因此，提取得到的数据能够直接用于数据分析，而不需要将从各个业务平台的数据库中获取各个业务平台的源数据转换为各个业务平台的网页展示的数据，再存储至数据采集平台对应的数据库中，提高了数据采集效率。进一步可以提高数据分析效率。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1为现有技术的数据采集系统的架构图；

图2为适用于本申请实施例的应用场景图；

图3为本申请实施例提供的数据采集方法的流程图一；

图4为本申请实施例提供的数据采集平台的逻辑框图；

图5为本申请实施例提供的数据采集方法的流程图二；