[发明专利]数据处理方法及装置

说明书

本说明书提供数据处理方法及装置，其中所述数据处理方法包括：获取对应多种数据源的指标类数据和明细类数据；按照指标数据库的存储结构对每种数据源的指标类数据进行处理，获得目标指标类数据；按照列式数据库的存储结构对每种数据源的明细类数据进行处理，获得目标明细类数据；将所述目标指标类数据写入所述指标数据库，以及将所述目标明细类数据写入所述列式数据库。

技术领域

本说明书涉及合规数据管理技术领域，特别涉及数据处理方法及装置。

背景技术

随着互联网技术的发展，越来越多的用户选择线上消费，不同于传统的实体消费场景，用户通过互联网即可完成购物、预定、炒股、办理证件等，很大程度上提高了用户的便捷性。随着线上服务的开展加深，涉及到的数据也就越来越多，不同业务场景下所关联的数据也不同。当需要对业务进行审计时，就需要由业务下属的各个节点进行数据汇总并上报；现有技术中，由于各个节点的数据源不同，导致上报的数据都具有不同的数据结构，无法快速的完成审计处理，因此亟需一种有效的方案以解决上述问题。

发明内容

有鉴于此，本说明书实施例提供了一种数据处理方法。本说明书同时涉及一种数据处理装置，一种计算设备，一种计算机可读存储介质以及一种计算机程序，以解决现有技术中存在的技术缺陷。

根据本说明书实施例的第一方面，提供了一种数据处理方法，包括：

获取对应多种数据源的指标类数据和明细类数据；

按照指标数据库的存储结构对每种数据源的指标类数据进行处理，获得目标指标类数据；

按照列式数据库的存储结构对每种数据源的明细类数据进行处理，获得目标明细类数据；

将所述目标指标类数据写入所述指标数据库，以及将所述目标明细类数据写入所述列式数据库。

可选地，所述获取对应多种数据源的指标类数据和明细类数据，包括：

接收针对目标业务提交的数据报送请求；

根据所述数据报送请求向目标业务关联的至少两个业务节点发送数据上传请求；

接收各个业务节点针对所述数据上报请求返回的业务数据；

通过对所述业务数据进行分类，获得对应多种数据源的指标类数据和明细类数据。

可选地，所述按照指标数据库的存储结构对每种数据源的指标类数据进行处理，获得目标指标类数据，包括：

确定每种数据源的存储结构与所述指标数据库的存储结构之间的转换规则；

按照所述转换规则对每种数据源的指标类数据进行处理，获得与所述指标数据库的存储结构相同的所述目标指标类数据。

可选地，所述按照列式数据库的存储结构对每种数据源的明细类数据进行处理，获得目标明细类数据，包括：

将每种数据源对应的明细类数据同步至中间业务数据库；

按照每种数据源对应的结构转换规则对所述中间业务数据库中的明细类数据进行转换；

根据转换结果生成与所述列式数据库的存储结构相同的所述目标明细类数据。

可选地，所述按照每种数据源对应的结构转换规则对所述中间业务数据库中的明细类数据进行转换，包括：

对所述中间业务数据库中的明细类数据进行解析，获得初始子数据；

在所述初始子数据中筛选出目标子数据，并按照每种数据源对应的结构转换规则对所述目标子数据进行转换。

可选地，所述将所述目标指标类数据写入所述指标数据库，以及将所述目标明细类数据写入所述列式数据库步骤执行之后，还包括：