[发明专利]一种基于可视化建模的数据仓库自动化管理方法

说明书

本发明公开了一种基于可视化建模的数据仓库模型自动化管理方法，包括如下步骤：S1、将业务系统中的业务数据同步到原始数据库；S2、逆向读取业务数据内的元数据信息并存储到元数据库中；S3、通过可视化编辑器进行数据建模以搭建出数据仓库模型；S4、从业务数据和元数据信息中选择需要统计的数据字段，设定派生指标、确定统计粒度并归属到数据仓库模型中；S5、通过SQL构建引擎自动生成用于数据加工的SQL脚本；S6、执行SQL脚本进行聚合计算以更新生成汇总表。本发明方法能帮助用户快速建立数据仓库模型，并实现数据仓库的自动化管理。

技术领域

本发明涉及数据处理技术领域，特别涉及一种基于可视化建模的数据仓库自动化管理方法。

背景技术

在大数据时代，面对爆发式增长的数据，通常使用数据仓库来帮助企业管理海量的数据。但由于目前的数据仓库缺乏统一规范的建模体系，随着业务的发展，在数据仓库的构建和维护方面也出现了许多问题：其一，开发成本高，由于数据仓库需要不断的更新和扩展，开发人员需要手动对每一张数据表进行维护和管理，涉及的数据表和字段很多，手写SQL(Structured Query Language，结构化查询语言)错误性高；其二，沟通成本高，在进行数据建模的时候，业务人员和技术人员对于业务理解容易存在歧义，需要进行反复沟通；其三，维护成本高和复用性差，由于缺乏统一的标准定义，造成了数据的冗余和重复建设，且上下游的依赖不清晰，无法保证数据的规范性，以上问题都导致现有的数据仓库难以管理。

发明内容

为解决上述问题，本发明提供了一种基于可视化建模的数据仓库自动化管理方法。

本发明采用以下技术方案：

一种基于可视化建模的数据仓库模型自动化管理方法，包括如下步骤：

S1、将业务系统中的原始数据转换成业务数据并同步到原始数据库；

S2、通过元数据管理器逆向读取所述业务数据内的元数据信息并存储到元数据库中；

S3、通过可视化编辑器进行数据建模以搭建出数据仓库模型，所述数据仓库模型包括主题数据域和业务过程，所述业务过程下设置维度表和事实表；

S4、根据业务性质从所述业务数据和元数据信息中选择需要统计的数据字段，设定派生指标、确定统计粒度，并将所述派生指标和统计粒度分别归属到对应的主题数据域和业务过程中；

S5、通过SQL构建引擎自动生成用于数据加工的SQL脚本；

S6、通过任务执行调度器执行所述SQL脚本对所述维度表和事实表进行聚合计算以更新生成汇总表。

进一步地，还包括S7、利用更新后的汇总表生成图表或报告。

进一步地，所述步骤S1具体为：

S11、根据业务需要，使用数据采集工具将业务数据从业务系统中提取出来；

S12、将提取的业务数据转换成符合原始数据库的数据格式；

S13、对所述业务数据进行清洗和合并，然后同步到原始数据库进行存储。

进一步地，所述元数据信息包括数据的来源、格式、类型、范围以及数据之间的依赖关系。

进一步地，所述派生指标包括时间限定、业务限定和原子指标，所述统计粒度和业务限定归属到所述维度表中，所述业务限定和原子指标归属到所述事实表中，所述时间限定归属到所述主题数据域中。

进一步地，所述汇总表中包含所述派生指标和统计粒度的聚合计算结果。

进一步地，所述步骤S5具体为：