[发明专利]一种优化阵列数据库并行数据加载性能的系统有效
申请号: | 201510952414.9 | 申请日: | 2015-12-18 |
公开(公告)号: | CN105608138B | 公开(公告)日: | 2019-03-12 |
发明(设计)人: | 李晖;陈梅;李宏源;邱能俊 | 申请(专利权)人: | 贵州大学;贵州优联博睿科技有限公司 |
主分类号: | G06F16/21 | 分类号: | G06F16/21;G06F9/445;G06F9/50 |
代理公司: | 北京联创佳为专利事务所(普通合伙) 11362 | 代理人: | 韩炜 |
地址: | 550025 贵州省贵阳市花*** | 国省代码: | 贵州;52 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 优化 阵列 数据库 并行 数据 加载 性能 系统 | ||
本发明公开了一种优化阵列数据库数据并行加载性能的系统,包括监控引擎(1),监控引擎(1)收集数据库集群(2)的监控信息,将监控信息反馈到FASTLoad系统组件(3),FASTLoad系统组件(3)根据监控信息对待加载的数据进行分配方法数据加载;监控引擎(1)用于实时监控数据库节点(7);数据库集群(2)用于数据加载的执行;FASTLoad系统组件(3)用于数据的分割处理和加载。本发明不仅能满足阵列数据的加载需求,而且是一种能够对大规模基于阵列模型的数据进行数据并行加载的科学数据管理工具系统,该系统性能是原有的数据库系统加载数据机制的性能的4到6倍。
技术领域
本发明涉及一种系统,特别是一种优化阵列数据库并行数据加载性能的系统。
背景技术
在大数据时代,在很多学科领域如生物信息学、气象学或者天文科学领域的科学数据增长非常迅速。而想要对这些数据进行分析和处理,需要先将数据导入到数据库中。随着数据量的增加,数据加载方法的性能变得越来越重要。
SciDB是一个针对科学数据管理和分析的开源的科学数据库系统,它采用的是阵列数据(Array)模型,主要是由Stonebraker领导开发并且获得了Paradigm4公司的赞助。其设计初衷旨在解决科学研究中数据量大、数据世袭等科学问题。与传统DBMS不同的是,受益于阵列数据模型,SciDB能够为科学应用领域提供大规模的复杂分析支持,用以满足其日益增长的需求。SciDB主要的特征如下。首先是无覆盖特性,SciDB能够存储不同版本的数据,通过时间维度作为区别不同历史阵列的标志。此外,还采用压缩算法以节省空间。其次是引入了原位数据的特性,SciDB定义自己的数据格式,并为常用的外部数据格式提供适配器编写接口。通过适配器,用户就可以不通过加载数据到SciDB引擎直接进行数据分析处理。第三是命名版本特性:用户对阵列的一部分执行特定的变更,而保留其余部分不变。第四个特征是可以满足数据推导可重复性的要求的特征。
尽管当前的阵列数据库如SciDB本身具有并行数据加载机制。但是由于这些数据加载机制本身采用的传统的关系型数据的加载策略,它们并不适合快速加载通常用阵列模型表示的科学数据到分布式并行系统中,尤其是在这些科学数据的数据大小以及维度变得很大的情况下,传统数据加载方法的性能下降将较为明显。
为了优化阵列数据库数据并行加载的性能,我们针对阵列数据库的数据加载过程提出了一种优化的并行加载系统FASTLoad。
发明内容
本发明的目的在于,提供一种优化阵列数据库的数据并行加载性能的系统。本发明不仅能满足阵列数据的加载需求,而且是一种能够对大规模基于阵列模型的数据进行数据并行加载的科学数据管理工具系统,该系统性能是原有的数据库系统加载数据机制的性能的4到6倍。
本发明的技术方案:一种优化阵列数据库数据并行加载性能的系统,包括监控引擎,监控引擎收集数据库集群的监控信息,将监控信息反馈到FASTLoad系统组件,FASTLoad系统组件根据监控信息对待加载的数据进行分配方法数据加载;
监控引擎用于实时监控数据库节点;
数据库集群用于数据加载的执行;
FASTLoad系统组件用于数据的分割处理和加载。
前述的优化阵列数据库数据并行加载性能的系统中,所述FASTLoad系统组件包括数据分区引擎,数据分区引擎分析待加载的数据,将待加载的数据文件分割成子文件,然后将子文件加载到数据加载协调引擎,数据加载协调引擎根据监控信息对待加载的数据子文件按照分配方法协调数据库节点参与数据加载任务,数据加载完成后,阵列数据库集群的协调者节点将更新自己的元数据。
前述的优化阵列数据库数据并行加载性能的系统中,所述的监控引擎将监控信息存储在系统状态数据库中,系统状态数据库再将监控数据传送到FASTLoad系统组件中。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于贵州大学;贵州优联博睿科技有限公司,未经贵州大学;贵州优联博睿科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201510952414.9/2.html,转载请声明来源钻瓜专利网。
- 上一篇:电子设备及其控制方法
- 下一篇:获得情感词知识库的方法、装置及终端