[发明专利]基于大数据的数据处理方法、装置、设备及可读存储介质

说明书

本发明公开了一种基于大数据的数据处理方法、装置、设备及计算机可读存储介质，述基于大数据的数据处理方法包括：在检测到包含数据主体的明细主键组件被选择时，获取所述明细主键组件对应的明细主键物理表；获取选择的维度组件和指标组件，并获取所述维度组件对应的维度物理表，以及获取所述指标组件对应的指标物理表；将所述明细主键物理表与所述维度物理表进行左关联，以及将所述明细主键物理表与所述指标物理表进行左关联，生成明细数据；基于所述明细数据，生成数据宽表，以基于所述数据宽表进行数据处理。本发明提高了数据处理效率，并提高了数据处理的灵活性。

技术领域

本发明涉及金融科技(Fintech)技术领域，尤其涉及一种基于大数据的数据处理方法、装置、设备及计算机可读存储介质。

背景技术

随着金融科技及互联网技术的迅速发展，越来越多的技术(大数据、分布式、区块链Blockchain、人工智能等)应用在金融领域。目前，对业务数据进行处理的模型均为建立在数据结构稳定，以及维度和指标不易改变的场景下，例如Kimball(金博尔)维度模型、星型模型、雪花型模型等，这些模型通常采用维度表和事实表的方式对数据进行组织和管理，即一个事实对应一组维度表，以实现多维分析。

然而，随着大数据技术的普及，数据呈现爆炸式的增长，在一些数据分析应用场景下，维度和指标的口径定义会不断发生变化，导致现有模型显露出一系列的缺陷。例如，为实现多维分析，需将多种维度和指标进行组合以生成宽表，然后从宽表中排除无效的维度和指标，以使基于有效的维度和指标进行数据分析等数据处理操作，这过程需要耗费大量的数据开发工作，导致对数据进行挖掘、沉淀、呈现等数据处理操作效率过低。

综上所述，如何提高数据处理效率是目前亟需解决的问题。

发明内容

本发明的主要目的在于提供一种基于大数据的数据处理方法、装置、设备及计算机可读存储介质，旨在提高数据处理效率，并提高数据处理的灵活性。

为实现上述目的，本发明提供一种基于大数据的数据处理方法，所述基于大数据的数据处理方法包括以下步骤：

在检测到包含数据主体的明细主键组件被选择时，获取所述明细主键组件对应的明细主键物理表；

获取选择的维度组件和指标组件，并获取所述维度组件对应的维度物理表，以及获取所述指标组件对应的指标物理表；

将所述明细主键物理表与所述维度物理表进行左关联，以及将所述明细主键物理表与所述指标物理表进行左关联，生成明细数据；

基于所述明细数据，生成数据宽表，以基于所述数据宽表进行数据处理。

可选地，所述基于所述明细数据，生成数据宽表的步骤包括：

将所述明细数据按照维度进行分组，得到分组数据；或，

将所述明细数据按照指标进行分组，得到分组数据；

将所述分组数据插入到宽表的物理表中，得到数据宽表。

可选地，所述在检测到包含数据主体的明细主键组件被选择时，获取所述明细主键组件对应的明细主键物理表的步骤之后，还包括：

将所述明细主键物理表的主键进行关联扩展，以使所述主键包含多个主键字段。

可选地，所述在检测到包含数据主体的明细主键组件被选择时，获取所述明细主键组件对应的明细主键物理表的步骤之前，还包括：

获取第一字段定义，其中，所述第一字段定义为基于构建明细主键组件的业务需求，提取对应的业务明细表的字段得到，所述第一字段定义包括主键字段、维度字段、指标字段和日期分区字段；

基于所述第一字段定义，构建明细主键物理表；