[发明专利]基于分析类场景下的分布式并行数据库及存储方法

说明书

本发明公开了一种基于分析类场景下的分布式并行数据库及存储方法，通过设计分布式部署方式，提高数据库并行处理性能；通过设计基于Infiniband网络，利用其高带宽、低延时特性，突破分布式并行处理数据库集群多节点海量数据分布式处理网络瓶颈，提高数据库数据处理性能；通过设计基于SSD存储的数据分层技术，提高元数据访问速度，提高数据库统计计算性能；通过设计宽表，将统计计算后的数据写入宽表，提高分析类场景查询性能。

技术领域

本发明涉及一种分布式并行数据库及存储方法，特别是涉及一种基于分析类场景下的分布式并行数据库及存储方法。

背景技术

随着计算机技术的发展、自动化水平的提高，数据库技术得到不断的发展和广泛的应用，海量数据的快速加载及大规模并行计算对数据库性能提出了更高的要求，传统集中式数据库系统表现出不足。数据库技术已经普遍建立于网络之上，为加强数据库集群数据处理能力，提高响应速度，将数据就地存放本地存储，一个应用程序通过网络连接可以访问分布在不同地理位置的数据库，传统关系数据库发展成以计算机网络及多任务并行处理的分布式数据库，它们在逻辑上是一个统一的整体，物理上则是分别存储在不同的物理节点上。

分析域是公司全业务、全类型、全时间维度数据的汇集中心，为公司各类分析应用提供完备的数据资源、高效的分析计算能力及统一的运行环境。数据分析域是挖掘数据资源价值，提升企业数据应用水平的核心。数据仓库是分析域建设的核心，基于分析类场景给分布式数据库带来四个需求，一是需要接入公司全业务、全量数据，需要大容量存储和灵活的横向扩展；二是基于分析域建设的应用数量剧增，高并发需求迫切；三是分析应用由常规、专业分析转向深度、综合分析，多表关联查询需求将更加普遍；四是现有分析应用迁移需要全面考虑兼容性的问题。

发明内容

发明目的：本发明要解决的技术问题是提供一种基于分析类场景下的分布式并行数据库及存储方法，针对分析类场景下的应用需求，解决了分布式数据加载过程中的网络带宽瓶颈、数据存储中效率瓶颈及数据统计计算过程中的数据读取和元数据访问瓶颈等问题，通过优化网络及存储方式提高分布式并行处理数据库数据加载及统计计算性能，并通过设计使用宽表提高了分析类场景的数据查询性能。

技术方案：本发明所述的基于分析类场景下的分布式并行数据库，包括管理调度节点和数据节点，所述的数据节点存储数据时按照数据热度不同进行数据分开存储，将热数据存储在SSD中，冷数据存储在HDD中。

进一步的，所述的热数据包括元数据、索引数据和若干根据具体业务需求确定的表数据，所述冷数据为除上述包括热数据中的表数据之外的表数据。

进一步的，所述的数据节点定期统计所存储数据的数据热度，根据设定的热度值重新划分热数据和冷数据，将重新划分的数据在SSD和HDD之间进行数据迁移。

进一步的，所述的数据节点抽取存储数据进行统计计算，根据统计计算涉及的所有字段建立宽表，将统计计算后的数据按字段存入宽表。

进一步的，系统中所有节点之间使用Infiniband网络连接。

本发明所述的基于分析类场景下的分布式并行数据库存储方法，方法包括：

构建分布式并行处理数据库集群，设置若干个管理调度节点及数据节点；

设置分布规则，管理调度节点按照分布规则初始化分片并生成分片映射表；

将准备导入的源系统数据服务器上的数据抽取为文本格式文件，通过SQL方式加载到所述分布式并行数据库；

管理调度节点进行Hash计算，同时按照HashMap映射，确定加载数据存储的具体数据节点，向该数据节点发送加载文件指令，所述数据节点接受管理调度节点的加载文件指令，按照管理调度节点指定的文件偏移量读取数据服务器上的文件；