[发明专利]一种数据统计方法、系统及电子设备和存储介质

说明书

本申请公开了一种数据统计方法、系统及一种电子设备和计算机可读存储介质，该方法包括：获取统计逻辑代码；其中，所述统计逻辑代码为利用预设变量编写的、用于进行数据统计的代码；初始化所述统计逻辑代码中每个任务的任务信息，并根据所述任务信息计算每个所述任务需要统计的数据时间范围；根据所述任务信息替换每个所述任务中的所有所述预设变量，并根据每个所述任务对应的数据时间范围执行每个所述任务。本申请提供的数据统计方法，开发人员只需要关注统计逻辑代码的编写和任务信息的配置即可，其他由系统自动完成，大大提高了数据分析的开发效率。

技术领域

本申请涉及计算机技术领域，更具体地说，涉及一种数据统计方法、系统及一种电子设备和一种计算机可读存储介质。

背景技术

在互联网发展的大潮下，在大数据越来越流行的今天，如何快速实现业务的统计分析需求，开发出符合业务需求的报表，进行数字化运营，成为各个互联网公司面临的挑战。

在一种现有技术中，需要数据开发人员从头开始开发数据统计分析脚本，实现业务需求。这种方案效率低下，时间周期长，数据开发人员需要处理很多重复性的工作。在另一种现有技术中，需要基于开源的报表产品，这种方案只能使用报表产品提供的功能，无法实现个性化的数据统计需求。

因此，如何面对个性化的数据统计需求，提高开发效率是本领域技术人员需要解决的技术问题。

发明内容

本申请的目的在于提供一种数据统计方法、系统及一种电子设备和一种计算机可读存储介质，面对个性化的数据统计需求，提高了开发效率。

为实现上述目的，本申请提供了一种数据统计方法，包括：

获取统计逻辑代码；其中，所述统计逻辑代码为利用预设变量编写的、用于进行数据统计的代码；

初始化所述统计逻辑代码中每个任务的任务信息，并根据所述任务信息计算每个所述任务需要统计的数据时间范围；

根据所述任务信息替换每个所述任务中的所有所述预设变量，并根据每个所述任务对应的数据时间范围执行每个所述任务。

其中，所述数据时间范围包括数据时间开始时间戳和数据时间结束时间戳，所述根据所述任务信息计算每个所述任务需要统计的数据时间范围，包括：

根据所述任务信息确定每个所述任务的调度时间、任务周期和周期偏移；

格式化所述调度时间，并利用格式化后的调度时间、所述任务周期和所述周期偏移计算所述数据时间开始时间戳和所述数据时间结束时间戳。

其中，所述预设变量包括时间变量、数据变量和维表变量；

所述时间变量包括标准时间变量、自定义时间变量和自定义函数时间变量，所述标准时间变量包括所述数据时间开始时间戳和所述数据时间结束时间戳对应的所有格式的时间变量；

所述数据变量包括目标数据库、目标数据表和目标分区；

所述维表变量包括维表数据库、维表表名和维表过滤条件。

其中，所述根据每个所述任务对应的数据时间范围执行每个所述任务，包括：

获取每个所述任务的依赖配置信息，并根据所述依赖配置判断每个所述任务的所有依赖任务对应的实例是否执行完成；

若是，则根据每个所述任务对应的数据时间范围执行每个所述任务。

其中，所述根据每个所述任务对应的数据时间范围执行每个所述任务，包括：

确定每个所述任务的任务类型，并确定所述任务类型对应的计算引擎；

利用每个所述任务对应的所述计算引擎根据所述数据时间范围执行每个所述任务。