[发明专利]一种多口径数据融合分析的新方法

说明书

本发明公开了一种多口径数据融合分析的新方法，属于数据分析技术领域。包括：采用数据探查技术获取业务数据源的元数据，建立基础维度表；结合各个系统的数据口径，构建数据口径立方体；采用数据汇聚技术，建立数据贴源层；综合所述数据贴源层和所述数据口径立方体，构建数据立方体，并将数据索引写入对应的所述数据口径立方体；基于业务数据口径，遍历所述数据口径立方体获取所述数据索引，并以此在所述数据立方体中查询到相应数据。本发明通过数据立方体和数据口径立方体的双立方体建模技术，实现渐进式的数据口径标准化过程，降低了数据融合的难度，同时带来了更加灵活的多口径数据的使用方式，能够最大程度地满足各个系统的差异化开发。

技术领域

本发明涉及数据分析技术领域，特别涉及一种多口径数据融合分析的新方法。

背景技术

目前，随着数据库应用的日益广泛，以及不同领域之间的业务种类也日益丰富，对于大数据处理的需求也随之增加。但是在对现有技术的研究与实践的过程中发现，现有技术基本采用数据中台，使用ETL汇聚各个业务系统数据，按照企业统一数据口径，进行数据清洗、存储后，提供给各个应用系统使用。现有技术的存在以下缺陷：在企业内不同业务系统之间统一数据口径的工作量很大；切断了原来各个系统的差异性数据口径；不能满足用户定制化的要求。

发明内容

为了克服现有技术的问题，通过引入数据口径立方体和数据立方体的双立方体建模技术，实现渐进式的数据口径标准化过程，降低了数据融合的难度，同时带来了更加灵活的多口径数据的使用方式，能够最大程度地满足各个系统的差异化开发。

为了达到上述目的，本发明提供了一种多口径数据融合分析的新方法，包括如下步骤：

(1)采用数据探查技术获取业务数据源的元数据，建立基础维度表；

(2)根据所述基础维度表，结合各个系统的数据口径，构建数据口径立方体；

(3)采用数据汇聚技术，建立数据贴源层；

(4)综合所述数据贴源层和所述数据口径立方体，构建数据立方体，并将数据索引写入对应的所述数据口径立方体；

(5)基于业务数据口径，遍历所述数据口径立方体获取所述数据索引，并以此在所述数据立方体中查询到相应数据。

进一步的，所述步骤1包括：

(1.1)通过JDBC进行数据探查，获取到相应数据库的所有元数据；

(1.2)根据具体业务的特点，抽出必要的元数据，通过关系数据库的外键关联构成星型模型，建立基础维度表。

进一步的，所述步骤2中构建数据口径立方体包括如下步骤：

(2.1)基于各个业务系统建立业务数据口径，每个业务数据口径都是一个单独的功能模块；

(2.2)基于分析平台建立分析平台的标准数据口径；

(2.3)以所述业务数据口径和所述标准数据口径为基础建立层次型混合数据口径，构建数据口径立方体。

进一步的，所述数据口径立方体使用图数据库存储，实现同一维度到多数据口径的映射关系。

进一步的，所述步骤3中数据汇聚技术使用DataX构建贴源层。

进一步的，所述步骤4中构建数据立方体包括：

(4.1)遍历所述数据口径立方体，汇聚各数据口径对应的数据；

(4.2)基于层次分析法，构建所述数据立方体。

进一步的，所述数据立方体采用HBase存储。

本发明还提供了一种多口径数据融合分析系统，包括：