[发明专利]一种数据处理方法、设备及计算机可读介质

权利要求书

1.一种数据处理方法，其中，该方法包括：

响应于用户输入的指标配置信息和指标提取规则，创建多个任务，并生成多个任务之间的拓扑关系，其中，所述任务用于在被执行时实现相应的处理，所述拓扑关系表示所述多个任务的执行顺序；

基于所述拓扑关系调度并执行所述多个任务，以计算所述指标配置信息对应的指标数据，基于所述指标提取规则从所述指标数据中提取目标指标数据，并将所述目标指标数据发送至目标数据库。

2.根据权利要求1所述的方法，其中，所述任务包括数据计算任务、数据提取任务和回流任务，所述数据计算任务根据所述指标配置信息创建，用于在被执行时计算所述指标配置信息对应的指标数据；所述数据提取任务根据所述指标提取规则确定，用于在被执行时基于所述指标提取规则从所述指标数据中提取目标指标数据；所述回流任务用于在被执行时将所述目标指标数据发送至目标数据库；

基于所述拓扑关系调度并执行所述多个任务，包括：

基于所述拓扑关系依次调度并执行数据计算任务、数据提取任务和回流任务。

3.根据权利要求2所述的方法，其中，所述指标配置信息至少包括统计数据源、统计主体和统计指标；

所述数据计算任务用于在被执行时，从所述统计数据源获取关于所述统计主体的事件数据，并根据统计指标计算指标数据。

4.根据权利要求2所述的方法，其中，所述数据计算任务包括增量计算任务和全量计算任务；

所述增量计算任务用于在被执行时，获取所述指标配置信息对应的增量指标数据，其中，所述增量指标数据为最近一个处理周期内的指标数据；

所述全量计算任务用于在被执行时，获取所述指标配置信息对应的全量指标数据，其中，所述全量指标数据为最近多个处理周期内的指标数据。

5.根据权利要求4所述的方法，其中，执行数据计算任务，包括：

执行增量计算任务，以获取最近一个处理周期内的所述指标配置信息对应的指标数据；

在所述增量计算任务执行完成之后，执行全量计算任务，以基于前一次执行全量计算任务所获取的全量指标数据和本次增量计算任务所获取的指标数据，获取本次的全量指标数据。

6.根据权利要求5所述的方法，其中，该方法还包括：设置增量表和全量表，所述增量表用于存储执行增量计算任务所获取的指标数据，所述全量包用于存储执行全量计算任务所获取的全量指标数据；

执行数据计算任务，包括：

执行增量计算任务，以获取最近一个处理周期内的所述指标配置信息对应的指标数据，并将所述指标数据写入到增量表中；

在所述增量计算任务执行完成之后，执行全量计算任务，包括：

基于所述全量表中前一次执行全量计算任务所获取的全量指标数据，以及所述增量表中本次增量计算任务所获取的指标数据进行计算，获取本次的全量指标数据，并写入到全量表中。

7.根据权利要求4至6中任一项所述的方法，其中，所述全量指标数据所对应的最近多个处理周期包括预设数量的处理周期或已经过的所有处理周期。

8.根据权利要求2所述的方法，其中，该方法还包括：设置临时表，所述临时表用于存储从所述指标数据中提取目标指标数据；

执行数据提取任务和回流任务，包括：

执行数据提取任务，以基于所述指标提取规则从所述指标数据中提取目标指标数据，并写入到所述临时表中；

在所述数据提取任务执行完成后，执行回流任务，以从所述临时表中读取所述目标指标数据，并发送至目标数据库。