[发明专利]一种数据仓库设计方法在审
申请号: | 202110086003.1 | 申请日: | 2021-01-22 |
公开(公告)号: | CN112732680A | 公开(公告)日: | 2021-04-30 |
发明(设计)人: | 李永伟;崔乐乐 | 申请(专利权)人: | 浪潮卓数大数据产业发展有限公司 |
主分类号: | G06F16/21 | 分类号: | G06F16/21;G06F16/25;G06F16/27;G06F16/28 |
代理公司: | 济南信达专利事务所有限公司 37100 | 代理人: | 郗艳荣 |
地址: | 214029 江苏省无锡市滨*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 数据仓库 设计 方法 | ||
1.一种数据仓库设计方法,其特征在于:包括以下步骤:
第一步,先将数据进行分类整理,然后将不同类别的数据存储到数据库中不同的分区,形成底层数据源;
第二步,利用数据抽取工具将各类数据源数据完整的抽取到数据仓库统一存储空间,并实时抽取新增数据,实现数据仓库与数据库基本数据的初步汇总和实时同步;
第三步,在数据仓库设计ODS层和DW层;
所述ODS层负责为数据源提供系统的、面向主题的、完整的当前级描述;
所述DW层用于存储所有历史级别的数据,为数据源提供系统的、面向主题的、完整的历史级描述;
第四步,设计数据集市层,用于存储面向主题和数据分析应用的、高度汇总级别的数据;
第五步,利用OLAP引擎多维分析数据库,利用多维数据库对查询性能的优势,将数据组织为多维的存储结构、面向数据分析应用的高性能支持环境,实现自定义报表和查询。
2.根据权利要求1所述的数据仓库设计方法,其特征在于:所述第二步中,利用Kettle将各类数据源数据完整的抽取到数据仓库统一存储空间,利用kafka实时抽取各类新增数据。
3.根据权利要求1所述的数据仓库设计方法,其特征在于:所述第三步中,数据仓库中的ODS层和DW层均采用3NF进行设计。
4.根据权利要求1或3所述的数据仓库设计方法,其特征在于:所述数据仓库是所有数据的集中备份存储平台,同时作为数据综合分析应用的输出基地,为数据集市层提供全局的、面向主题的,明细的、轻度汇总的,近期的以及历史的数据输入。
5.根据权利要求3所述的数据仓库设计方法,其特征在于:所述ODS层的数据内容包括:
1)数据交换过程的临时数据;
2)外部采集数据的存储区域;
3)BI的决策分析结果应用到业务系统的中间存储区域;
4)数据质量管理的审计和监控信息;
5)明细级、当前的、近实时的业务数据;
6)主数据集中存储和管理中心。
6.根据权利要求5所述的数据仓库设计方法,其特征在于:所述近实时业务数据是指当前3个月以内的业务数据。
7.根据权利要求5所述的数据仓库设计方法,其特征在于:所述ODS层不提供对外的大数据量查询和检索功能,而是在数据仓库层面提供大数据量查询和检索功能,从而充分发挥数据仓库在大数据量数据检索性能方面的优势。
8.根据权利要求1所述的数据仓库设计方法,其特征在于:所述第四步中,采用维度建模的方式设计数据集市层,并根据数据应用特点划分数据主题域集市,为OLAP引擎提供多维分析的数据支撑环境,便于快速加载到多维分析数据库。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于浪潮卓数大数据产业发展有限公司,未经浪潮卓数大数据产业发展有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110086003.1/1.html,转载请声明来源钻瓜专利网。