[发明专利]一种大数据的数据存储系统及方法有效
申请号: | 201811453010.5 | 申请日: | 2018-11-30 |
公开(公告)号: | CN109299154B | 公开(公告)日: | 2020-12-18 |
发明(设计)人: | 魏强;裴亚波;李丽辉;王丹宁;翟胜强;马静静 | 申请(专利权)人: | 长城计算机软件与系统有限公司 |
主分类号: | G06F16/2457 | 分类号: | G06F16/2457;G06F16/22 |
代理公司: | 北京轻创知识产权代理有限公司 11212 | 代理人: | 杨立 |
地址: | 100190 北京市海淀*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 数据 存储系统 方法 | ||
1.一种大数据的数据存储系统,其特征在于,包括:
元数据结构层,用于定义并存储多种元数据类型,及元数据类型的属性;
元数据层,用于按照所述元数据类型的属性,定义并存储所有元数据对象信息和元数据对象之间的关联关系;
数据结构层,用于按照所述元数据对象信息,定义并存储统计数据的结构关系;
数据层,用于按照所述统计数据的结构关系,存储所述统计数据;
其中,所述元数据层包括元数据对象表和元数据关系表;
所述元数据对象表,用于定义并存储元数据对象信息,所述元数据对象表的字段包括元数据对象ID、元数据类型ID、元数据对象属性、元数据对象父节点和元数据对象祖先节点;
所述元数据关系表,用于定义并存储元数据对象之间的关联关系。
2.根据权利要求1所述的系统,其特征在于,所述元数据结构层包括元数据类型表和元数据属性表;
所述元数据类型表,用于定义并存储多种元数据类型,所述元数据类型表的字段包括元数据类型ID、类型英文名称、类型中文名称和类型描述信息;
所述元数据属性表,用于定义并存储元数据类型的属性信息,所述元数据属性表的字段包括属性ID、元数据类型ID、属性类型、属性英文名称、属性中文名称和属性描述信息。
3.根据权利要求1所述的系统,其特征在于,所述数据结构层包括数据分区表、逻辑存储表、物理存储表和存储列信息表;
所述数据分区表,用于存储数据分区信息,统计调查项目作为数据分区的依据,每个分区下包含一个调查项目的所有数据;
所述逻辑存储表,用于定义数据的逻辑存储结构,不同的逻辑存储结构下数据的主键列组合不同;
所述物理存储表,用于定义数据的物理存储结构,每一条物理存储记录对应一张数据表;
所述存储列信息表,用于按照所述元数据对象信息、所述逻辑存储表定义的逻辑存储结构和物理存储表定义的物理存储结构定义数据表的列信息,所述存储列信息表中的每条记录,对应所述数据表中的每一列。
4.根据权利要求1-3任一项所述的系统,其特征在于,所述元数据结构层、元数据层和数据结构层的数据表存储在MongoDB数据库中,所述数据层的数据表存储在Oracle内存数据库中。
5.一种应用于权利要求1-4任一项所述的系统的数据存储方法,其特征在于,包括:
步骤1、元数据结构层定义并存储多种元数据类型,及元数据类型的属性;
步骤2、元数据层按照所述元数据类型的属性,定义并存储所有元数据对象信息和元数据对象之间的关联关系;
步骤3、数据结构层按照所述元数据对象信息,定义并存储统计数据的结构关系;
步骤4、数据层按照所述统计数据的结构关系,存储所述统计数据;
其中,所述元数据层包括元数据对象表和元数据关系表;所述步骤2具体包括:
所述元数据对象表定义并存储元数据对象信息,所述元数据对象表的字段包括元数据对象ID、元数据类型ID、元数据对象属性、元数据对象父节点和元数据对象祖先节点;
所述元数据关系表定义并存储元数据对象之间的关联关系。
6.根据权利要求5所述的方法,其特征在于,所述元数据结构层包括元数据类型表和元数据属性表;所述步骤1具体包括:
所述元数据类型表定义并存储多种元数据类型,所述元数据类型表的字段包括元数据类型ID、类型英文名称、类型中文名称和类型描述信息;
所述元数据属性表定义并存储元数据类型的属性信息,所述元数据属性表的字段包括属性ID、元数据类型ID、属性类型、属性英文名称、属性中文名称和属性描述信息。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于长城计算机软件与系统有限公司,未经长城计算机软件与系统有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811453010.5/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置