[发明专利]基于分析类场景下的分布式并行数据库及存储方法

权利要求书

1.一种基于分析类场景下的分布式并行数据库，包括管理调度节点和数据节点，其特征在于：所述的数据节点存储数据时将热数据存储在SSD中，冷数据存储在HDD中。

2.根据权利要求1所述的基于分析类场景下的分布式并行数据库，其特征在于：所述的热数据包括元数据、索引数据和若干根据具体业务需求确定的表数据，所述冷数据为除上述包括热数据中的表数据之外的表数据。

3.根据权利要求1所述的基于分析类场景下的分布式并行数据库，其特征在于：所述的数据节点定期统计所存储数据的数据热度，根据设定的热度值重新划分热数据和冷数据，将重新划分的数据在SSD和HDD之间进行数据迁移。

4.根据权利要求1所述的基于分析类场景下的分布式并行数据库，其特征在于：所述的数据节点抽取存储数据进行统计计算，根据统计计算涉及的所有字段建立宽表，将统计计算后的数据按字段存入宽表。

5.根据权利要求1所述的基于分析类场景下的分布式并行数据库，其特征在于：所有节点之间使用Infiniband网络连接。

6.一种基于分析类场景下的分布式并行数据库存储方法，其特征在于，方法包括：

管理调度节点按照分布规则初始化分片并生成分片映射表；

管理调度节点通过SQL方式将文本格式文件加载到所述分布式并行数据库，所述文本格式文件由用户从准备导入的源系统数据服务器上的数据抽取得到；

管理调度节点进行Hash计算，同时按照HashMap映射，确定加载数据存储的具体数据节点，向该数据节点发送加载文件指令，所述数据节点接受管理调度节点的加载文件指令，按照管理调度节点指定的文件偏移量读取数据服务器上的文件；

数据节点将热数据存储在SSD中，冷数据存储在HDD中。

7.根据权利要求6所述的基于分析类场景下的分布式并行数据库存储方法，其特征在于，所述的分布规则包括随机分布规则、Hash分布规则和复制分布规则；

所述的随机分布规则为创建随机分布表时，使数据随机且均匀分布到数据集群所有分片上，管理集群记录分布信息；

所述的Hash分布规则为在创建Hash分布表时，通过指定某列为Hash分布列，数据入库时，根据Hash分布列的数据值计算Hash值，以确定该数据的存储分片；

所述的复制分布规则为根据具体业务要求将维度表设置为复制表，复制表在每个节点上存储完整数据。

8.根据权利要求6所述的基于分析类场景下的分布式并行数据库存储方法，其特征在于还包括：数据节点定期统计所存储数据的数据热度，根据设定的热度值重新划分热数据和冷数据，将重新划分的数据在SSD和HDD之间进行数据迁移。

9.根据权利要求6所述的基于分析类场景下的分布式并行数据库存储方法，其特征在于：所述的热数据包括元数据、索引数据和若干根据具体业务需求确定的表数据，所述冷数据为除上述包括热数据中的表数据之外的表数据。

10.根据权利要求6所述的基于分析类场景下的分布式并行数据库存储方法，其特征在于，方法还包括：根据分析类场景要求，数据节点抽取存储数据进行统计计算，根据统计计算涉及的所有字段建立宽表，将统计计算后的数据按字段存入宽表。