[发明专利]数据处理方法、装置、计算机设备和存储介质

权利要求书

1.一种数据处理方法，其特征在于，包括如下步骤：

步骤102，创建用于数据处理的工作流，为工作流创建定时任务；

步骤104，当定时任务启动时，执行所述工作流；

所述工作流包括：

步骤A：清空数据缓冲层ODS的相关表和缓存数据层cache的相关表；

步骤B：读取待导入数据文件中的数据并写入所述数据缓冲层ODS；

步骤C：将数据缓冲层ODS的数据进行加工后写入所述缓存数据层cache；

步骤E：将所述缓存数据层cache的数据写入全量数据层DW，

数据缓冲层ODS、缓存数据层cache、全量数据层DW分别是将数据库进行分层设计后的数据层。

2.根据权利要求1所述的方法，其特征在于，所述步骤A之前包括：

判断前置条件是否满足；

若满足前置条件，则判断所述数据文件是否已存在；

若已存在，则判断所述数据文件是否已执行；

若所述数据文件未被执行，则对数据文件进行重命名并进行预处理。

3.根据权利要求2所述的方法，其特征在于，在所述数据文件中的数据是全量数据时，在所述步骤C和所述步骤E之间还包括：

步骤D：清空全量数据层DW的相关表。

4.根据权利要求1至3中任一项所述的方法，其特征在于，所述步骤F之后，包括：

对所述全量数据层DW中的数据进行去重和/或折叠处理；

移动所述数据文件至指定目录，所述目录用于放置已完成的数据文件；

记录所述数据文件为已执行状态。

5.根据权利要求1至4中任一项所述的方法，其特征在于，为整个所述工作流设置对应的一个定时任务，或者所述工作流的每个步骤对应设置一个定时任务，当其上节点的定时任务完成时，触发下一节点的定时任务。

6.一种数据处理装置，其特征在于，包括：

创建单元，创建用于数据处理的工作流，为工作流创建定时任务；

执行单元，当定时任务启动时，执行所述工作流；

所述工作流包括：

步骤A：清空数据缓冲层ODS的相关表和缓存数据层cache的相关表；

步骤B：读取待导入数据文件中的数据并写入所述数据缓冲层ODS；

步骤C：将数据缓冲层ODS的数据进行加工后写入所述缓存数据层cache；

步骤E：将所述缓存数据层cache的数据写入全量数据层DW，

数据缓冲层ODS、缓存数据层cache、全量数据层DW分别是将数据库进行分层设计后的数据层。

7.根据权利要求6所述的数据处理装置，其特征在于，所述装置包括：

所述步骤A之前包括：

判断前置条件是否满足；

若满足前置条件，则判断所述数据文件是否已存在；

若已存在，则判断所述数据文件是否已执行；

若所述数据文件未被执行，则对数据文件进行重命名并进行预处理。

8.根据权利要求7所述的数据处理装置，其特征在于，在所述数据文件中的数据是全量数据时，在所述步骤C和所述步骤E之间还包括：

步骤D：清空全量数据层DW的相关表；

所述步骤F之后，包括：

对所述全量数据层DW中的数据进行去重和/或折叠处理；

移动所述数据文件至指定目录，所述目录用于放置已完成的数据文件；

记录所述数据文件为已执行状态。

9.根据权利要求6至8中任一项所述的数据处理装置，其特征在于，所述创建单元为整个所述工作流设置对应的一个定时任务，或者所述工作流的每个步骤对应设置一个定时任务，当其上节点的定时任务完成时，触发下一节点的定时任务。