[发明专利]数据仓库可视化建模方法、装置及介质

说明书

本发明涉及一种数据仓库可视化建模方法、装置及介质的技术方案，包括：全局规划，将用于业务的数据仓库以自顶向下创建业务数据总线；数据引入，基于所述全局规划，根据所述业务数据总线配置对应的项目空间及物理数据源；规范定义，根据所述业务数据总线及物理数据源构建可视化数据模型；可视化分析，通过可视化界面对数据源的分布及详情进行可视化展示。本发明的有益效果为：基于规范定义的企业维度、业务过程、原子指标、派生指标，通过自动化代码，进一步细化开发维度表、事实表和汇总表；生成企业数据仓库模型，便于业务分层的数据应用，同时优化计算和存储；数据丰富融通，主题化服务更智能。

技术领域

本发明涉及计算机领域，具体涉及了一种数据仓库可视化建模方法、装置及介质。

背景技术

在数据急剧增长的情况下，企业面临更多的数据问题：数据不统一，计算逻辑不一致；数据未打通，孤岛现象严重；源系统或业务变更与数据不同步导致维护困难；重复建设导致数据时效性差；数据加工错综复杂,很少有人能把左右字段处理过程记的一清二楚，数据血缘无处可寻。

因为业务系统多、数据来源多，经营所需的数据需求高频且多样化。但数据体系复杂、数据不统一，数据分析速度和数据准确一致性难保障，战略决策与数据化运营受阻。现有数据处理技术无法快速的处理大量错综复杂的业务数据；数据建模没有规范定义，导致不同的建模人员有不同的处理方法；数据越复杂，数据处理难度越大，导致数据处理门槛和成本往往高且低效，复用性低。

发明内容

本发明的目的在于至少解决现有技术中存在的技术问题之一，提供了一种数据仓库可视化建模方法、装置及介质，通过对游戏数据进行分区及多维存储，通过多维查询对业务需求进行快捷数据展示。

本发明的技术方案包括一种数据仓库可视化建模方法，其特征在于，该方法包括：全局规划，将用于业务的数据仓库以自顶向下创建业务数据总线；数据引入，基于所述全局规划，根据所述业务数据总线配置对应的项目空间及物理数据源；规范定义，根据所述业务数据总线及物理数据源构建可视化数据模型；可视化分析，通过可视化界面对数据源的分布及详情进行可视化展示。

根据所述的数据仓库可视化建模方法，其中的全局规划包括：根据业务全局，从顶层自下规划设计业务数据总线，具体包括划分命名空间、定义主题域及相关名词、划分管理单元、定义数据源及计算引擎源。

根据所述的数据仓库可视化建模方法，其中的数据引入包括：基于全局设计定义的项目空间与物理数据源，将若干数量的业务系统及不同类型的数据抽取加载至目标数据库。

根据所述的数据仓库可视化建模方法，其中的数据引入包括：配置数据源，根据数据总线需求，配置作为源数据的数据源，从对应数据库将数据进行导出；数据抽取，根据数据源的类型及配置数据，进行数据的抽取及采集；数据转换，对已采集的数据源的字段进行转换和过滤；数据写入，将已过滤并转换后的数据源，按照配置的字段映射关系进行写入目标数据库；目标数据源同步，将数据源导入至目标数据库对应表和字段，同步源数据与目标数据。

根据所述的数据仓库可视化建模方法，其中的数据抽取包括：根据源数据源和目标数据源的类型读取相应的模板文件，组装数据参数，提交到数据抽取引擎中，创建任务执行的上下文，基于模板中配置预处理流程，通过反射调用相应的处理类进行数据的预处理，同时初始化读线程和写线程，提交到线程池执行抽取。

根据所述的数据仓库可视化建模方法，其中的规范定义包括：结构化定义数据元素，其中数据元素包括维度、原子指标、业务限定、业务过程、统计周期及派生指标；构建可视化数据模型，包括：通过可视化交互界面的配置创建维度表、事实表及汇总表时的组装sql语句，并从各个来源主表中同步数据到所创建的表中。