[发明专利]一种数据处理方法、设备和计算机可读存储介质

权利要求书

1.一种数据处理方法，其特征在于，所述方法包括：

从数据仓库的明细层获取待处理数据；

依据应用层的应用数据项确定原始数据项、统计数据项和派生数据项；

从所述待处理数据中搜索出所述原始数据项对应的原始数据，并基于所述待处理数据统计得到所述统计数据项对应的统计数据；

基于所述原始数据以及所述统计数据计算得到派生数据项对应的派生数据。

2.根据权利要求1所述的方法，其特征在于，所述基于所述待处理数据统计得到所述统计数据项对应的统计数据，包括：

从所述待处理数据中选出满足预设条件的目标数据；

基于所述目标数据统计得到所述统计数据项对应的统计数据。

3.根据权利要求2所述的方法，其特征在于，所述待处理数据包括若干明细表，每个所述明细表中包含若干条数据，所述从所述待处理数据中选出满足预设条件的目标数据，包括：

从所述若干明细表中选出与所述原始数据匹配的目标明细表；

判断所述目标明细表中的每条所述数据是否符合标签条件；

若符合，则将符合所述标签条件的所述数据与所述标签关联，并确定所述标签关联的所有所述数据为所述目标数据。

4.根据权利要求3所述的方法，其特征在于，所述将符合所述标签条件的所述数据与所述标签关联之后，所述方法还包括：

依据所述目标数据和关联的所述标签，生成表示所述目标数据与所述标签之间的关联关系的标签表；

响应于用户操作，显示所述标签表。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

利用行数和/或第一特征值将所述标签表与所述目标明细表进行第一比较，若第一比较结果为一致，则确定所述标签表的生成无误；

和/或，利用第二特征值将所述原始数据、所述统计数据、所述派生数据与所述待处理数据进行第二比较，若第二比较结果为一致，则确定所述目标数据的处理过程无误。

6.根据权利要求2所述的方法，其特征在于，所述基于所述目标数据统计得到所述统计数据项对应的统计数据，包括：

从所述目标数据的数据项中查找出与所述统计数据项对应的关联数据项；

对所述目标数据中与所述关联数据项对应的数据进行统计，得到所述统计数据项对应的统计数据。

7.根据权利要求2所述的方法，其特征在于，所述依据应用层的应用数据项确定原始数据项、统计数据项和派生数据项以及所述基于所述目标数据统计得到所述统计数据项对应的统计数据是采用Spark sql任务执行的；

所述基于所述目标数据统计得到所述统计数据项对应的统计数据和所述基于所述原始数据以及所述统计数据计算得到派生数据项对应的派生数据是采用Spark自定义任务执行的。

8.根据权利要求1所述的方法，其特征在于，所述依据应用层的应用数据项确定原始数据项、统计数据项和派生数据项，包括：

选出所述待处理数据包含的所述应用数据项，作为所述原始数据项；

选出用于统计所述待处理数据的所述应用数据项，作为所述统计数据项；

选出与所述原始数据项和所述统计数据项关联的所述应用数据项作为所述派生数据项；

和/或，所述从所述待处理数据中搜索出所述原始数据项对应的原始数据，包括：

从所述待处理数据的数据项中查找出所述原始数据项，并将所述待处理数据中所述原始数据项对应的数据作为所述原始数据。

9.一种数据处理设备，其特征在于，所述数据处理设备包括处理器和存储器，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现如权利要求1-8中任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序数据，所述程序数据能够被执行，用以实现如权利要求1-8中任一项所述的方法。