[发明专利]数据调度方法、装置、计算机可读存储介质

说明书

本发明公开了一种数据调度方法、装置和计算机可读存储介质。其中，该数据调度方法包括：获取当前待处理数据；调用历史处理结果；基于历史处理结果，按照预定策略，对当前待处理数据进行处理；其中，历史处理结果和当前待处理数据均基于同一数据源以及预定策略；将对当前待处理数据的处理结果，确定为待调用的处理结果。本发明实施例通过采取该技术方案，实现了数据复用，解决了如何提高数据调度效率的技术问题，避免了重复计算，无需对使用相同处理方法的数据进行多次重复的计算，也无需对使用相同策略的数据进行重复计算，节省了计算量，节省了成本。

技术领域

本发明涉及一种互联网技术领域，特别是涉及一种数据调度方法、装置、计算机可读存储介质。

背景技术

随着各个公司业务的不断增涨，各个公司都会构建自己的任务调度系统(例如，dagobah(一种可视化任务调度系统)调度系统、Azkaban调度系统(一种批量工作流任务调度器)、基于Linux的crontab调度系统等)，以在某些应用场景下执行一定的任务。

在执行该任务的过程中，通常会涉及到数据调度，对此，各个公司采取了不同的方式。例如，有些公司会将所调度的数据完全嵌入本公司的数据体系中；然后，在每次进行数据调度的时候，利用调度系统进行调度；还有些公司将所调度的数据完全独立于本公司的数据体系进行调度。

然而，上述现有技术在进行本次数据调度的时候，均需要重复计算此前计算过的结果。

因此，现有技术因重复计算较多而存在数据调度效率不高的缺陷。

发明内容

本发明解决的技术问题是提供一种数据调度方法、装置、计算机可读存储介质，以解决如何提高数据调度效率的技术问题。

为了实现上述目的，根据本发明的第一方面，提供以下技术方案：

一种数据调度方法，包括：

获取当前待处理数据；

调用历史处理结果；

基于所述历史处理结果，按照预定策略，对所述当前待处理数据进行处理；其中，所述历史处理结果和所述当前待处理数据均基于同一数据源以及所述预定策略；

将对所述当前待处理数据的处理结果，确定为待调用的处理结果。

进一步地，所述预定策略包括：维度，所述维度包括用户属性和/或终端设备信息和/或版本信息和/或通信方式和/或地理位置。

进一步地，至少通过以下方式对所述当前待处理数据进行处理：

同比和/或环比和/或按月比和/或按照非常规时间间隔的对比和/或按照变化量对比和/或按照变化率对比。

为了实现上述目的，根据本发明的第二方面，还提供以下技术方案：

一种数据调度装置，包括：

获取模块，用于获取当前待处理数据；

调用模块，用于调用历史处理结果；

处理模块，用于基于所述历史处理结果，按照预定策略，以对所述当前待处理数据进行处理；其中，所述历史处理结果和所述当前待处理数据均基于同一数据源；

确定模块，用于将对所述当前待处理数据的处理结果，确定为待调用的历史处理结果。

进一步地，所述预定策略包括：维度，所述维度包括用户属性和/或终端设备信息和/或版本信息和/或通信方式和/或地理位置。

进一步地，至少通过以下方式对所述当前待处理数据进行处理：

同比和/或环比和/或按月比和/或按照非常规时间间隔的对比和/或按照变化量对比和/或按照变化率对比。