[发明专利]一种数据处理方法、设备和计算机可读存储介质

说明书

本申请公开了一种数据处理方法、设备和计算机可读存储介质，该方法包括：从数据仓库的明细层获取待处理数据；依据应用层的应用数据项确定原始数据项、统计数据项和派生数据项；从待处理数据中搜索出原始数据项对应的原始数据，并基于待处理数据统计得到统计数据项对应的统计数据；基于原始数据以及统计数据计算得到派生数据项对应的派生数据。通过上述方式，能够将数据处理过程划分成多个步骤分别进行处理，同时将应用数据项分类进行处理，提高了数据处理的效率。

技术领域

本申请涉及计算机数据处理技术领域，特别是涉及一种数据处理方法、设备和计算机可读存储介质。

背景技术

数据仓库(Data Warehouse，可简写为DW或DWH)，是从源系统通过一系列操作汇集的、为管理决策提供支持的数据集合，能实现跨业务条线、跨系统的数据整合，为管理分析和业务决策提供统一的数据支持。

通常来说，数据仓库可以分为四层机构，即贴源层(ODS)、明细层(DWD)、汇总层(DWS)、应用层(ADS)，其中贴源层从源数据库中提取数据，明细层对贴源层数据进行整理，汇总层对明细层数据进行加工汇总，将数据形成宽表以供应用层对外提供数据服务。本申请的申请人在长期的研发过程中，发现汇总层中没有形成有效的数据处理方法，数据处理过程复杂，效率低。

发明内容

本申请主要解决的技术问题是提供一种数据处理方法、设备和计算机可读存储介质，能够提高汇总层的数据处理效率。

为解决上述技术问题，本申请采用的一个技术方案是：提供一种数据处理方法，该方法包括：从数据仓库的明细层获取待处理数据；依据应用层的应用数据项确定原始数据项、统计数据项和派生数据项；从待处理数据中搜索出原始数据项对应的原始数据，并基于待处理数据统计得到统计数据项对应的统计数据；基于原始数据以及统计数据计算得到派生数据项对应的派生数据。

其中，基于待处理数据统计得到统计数据项对应的统计数据，包括：从待处理数据中选出满足预设条件的目标数据；基于目标数据统计得到统计数据项对应的统计数据。

其中，待处理数据包括若干明细表，每个明细表中包含若干条数据，从待处理数据中选出满足预设条件的目标数据，包括：从若干明细表中选出与原始数据匹配的目标明细表；判断目标明细表中的每条数据是否符合标签条件；若符合，则将符合标签条件的数据与标签关联，并确定标签关联的所有数据为目标数据。

其中，将符合标签条件的数据与标签关联之后，该方法还包括：依据目标数据和关联的标签，生成表示目标数据与标签之间的关联关系的标签表；响应于用户操作，显示标签表。

其中，该方法还包括：利用行数和/或第一特征值将标签表与目标明细表进行第一比较，若第一比较结果为一致，则确定标签表的生成无误；和/或，利用第二特征值将原始数据、统计数据、派生数据与待处理数据进行第二比较，若第二比较结果为一致，则确定目标数据的处理过程无误。

其中，基于目标数据统计得到统计数据项对应的统计数据，包括：从目标数据的数据项中查找出与统计数据项对应的关联数据项；对目标数据中与关联数据项对应的数据进行统计，得到统计数据项对应的统计数据。

其中，依据应用层的应用数据项确定原始数据项、统计数据项和派生数据项以及基于目标数据统计得到统计数据项对应的统计数据是采用Spark sql任务执行的；基于目标数据统计得到统计数据项对应的统计数据和基于原始数据以及统计数据计算得到派生数据项对应的派生数据是采用Spark自定义任务执行的。

其中，依据应用层的应用数据项确定原始数据项、统计数据项和派生数据项，包括：选出待处理数据包含的应用数据项，作为原始数据项；选出用于统计待处理数据的应用数据项，作为统计数据项；选出与原始数据项和统计数据项关联的应用数据项作为派生数据项；和/或，从待处理数据中搜索出原始数据项对应的原始数据，包括：从待处理数据的数据项中查找出原始数据项，并将待处理数据中原始数据项对应的数据作为原始数据。