[发明专利]一种基于可视化建模的数据仓库自动化管理方法

权利要求书

1.一种基于可视化建模的数据仓库模型自动化管理方法，其特征在于：包括如下步骤：

S1、将业务系统中的业务数据同步到原始数据库；

S2、通过元数据管理器逆向读取所述业务数据内的元数据信息并存储到元数据库中；

S3、通过可视化编辑器进行数据建模以搭建出数据仓库模型，所述数据仓库模型包括主题数据域和业务过程，所述业务过程下设置维度表和事实表；

S4、根据业务性质从所述业务数据和元数据信息中选择需要统计的数据字段，设定派生指标、确定统计粒度，并将所述派生指标和统计粒度分别归属到对应的主题数据域和业务过程中；

S5、通过SQL构建引擎自动生成用于数据加工的SQL脚本；

S6、通过任务执行调度器执行所述SQL脚本对所述维度表和事实表进行聚合计算以更新生成汇总表。

2.如权利要求1所述的一种基于可视化建模的数据仓库自动化管理方法，其特征在于：还包括S7、利用更新后的汇总表生成图表或报告。

3.如权利要求2所述的一种基于可视化建模的数据仓库自动化管理方法，其特征在于：所述步骤S1具体为：

S11、根据业务需要，使用数据采集工具将业务数据从业务系统中提取出来；

S12、将提取的业务数据转换成符合原始数据库的数据格式；

S13、对所述业务数据进行清洗和合并，然后同步到原始数据库进行存储。

4.如权利要求3所述的一种基于可视化建模的数据仓库自动化管理方法，其特征在于：所述元数据信息包括数据的来源、格式、类型、范围以及数据之间的依赖关系。

5.如权利要求4所述的一种基于可视化建模的数据仓库自动化管理方法，其特征在于：所述派生指标包括时间限定、业务限定和原子指标，所述统计粒度和业务限定归属到所述维度表中，所述业务限定和原子指标归属到所述事实表中，所述时间限定归属到所述主题数据域中。

6.如权利要求5所述的一种基于可视化建模的数据仓库自动化管理方法，其特征在于：所述汇总表中包含所述派生指标和统计粒度的聚合计算结果。

7.如权利要求6所述的一种基于可视化建模的数据仓库自动化管理方法，其特征在于：所述步骤S5具体为：

S51、解析搭建好的数据仓库模型，得到需要的数据表和字段，包括：a、解析所述派生指标生成agg聚合函数；b、解析所述统计粒度生成group by字段；c、根据所述时间限定的范围计算时间最小值与最大值并添加至where条件；

S52、根据解析结果自动地生成数据加工逻辑，从而构建出SQL脚本。

8.如权利要求7所述的一种基于可视化建模的数据仓库自动化管理方法，其特征在于：所述步骤S6具体为：

S61、所述任务执行调度器获取所述SQL脚本，自动生成ETL任务，并将其添加执行队列中；

S62、根据ETL任务的前后依赖关系和资源使用情况进行调度，依次执行，完成汇总表的更新，其中，对于执行失败的任务进行3次重试并记录错误堆栈。

9.如权利要求1-8任一项所述的一种基于可视化建模的数据仓库自动化管理方法，其特征在于：所述汇总表用于业务的查询和分析。