[发明专利]一种综合使用多种设备存储海量数据的方法

摘要

本发明公开了一种综合使用多种设备存储海量数据的方法。该方法通过将一张表的多个数据列拆分出来，根据列的数据特点将数据表中的一个或多个列组成一个组，根据每个列簇的数据特点综合使用多种存储设备，从而达到性能与成本的最佳性价比，增强系统的灵活性，并显著提升系统的整体性能。

主权项

1.一种综合使用多种设备存储海量数据的方法，其特征在于，包括如下步骤：步骤1、将数据表按照数据列拆分出来，根据数据列的特点将一个列或多个列组成一个列簇，这样一张表可以按列拆分成多个列簇，每个列簇单独存储，即一个列簇存储成一个文件；步骤2、列簇文件独自存储管理，列簇之间互不影响，列簇文件可以单独删除，不会影响其他的列簇，即不同的列和列簇之间设置不同的保存生命周期；步骤3、列簇文件选择存储到不同的存储设备上，不同的列簇根据各自特点选择存储到适合的存储设备上；步骤4、同一列簇文件同时存储在不同类型存储设备上，在读取的时候，优先选择响应速度快的设备进行读取，只有当这个设备出现异常，才会从读取速度慢的设备进行读取；步骤5、列簇文件可以创建多份副本，每个副本分别存储到不同的存储设备上，这些存储设备位于同一台电脑设备上，或是不同的电脑设备，或是不同的机房，多个副本之间在读取的时候进行轮询，如果某一个副本发生故障，读取失败或者读取速度慢，可以切换到另外一个副本上进行读取，对上游业务自动容错；步骤6、列簇文件根据时间变换存储设备，即某一列簇在产生后的5天内存储在SSD固态硬盘内，5天后会从SSD固态硬盘迁移到SATA机械硬盘上；步骤7、多个列簇之间选择存储在同一个物理设备内，或选择存储在不同的物理设备上，以达到物理隔离的目的；步骤8、在同一个列簇内列和列之间是存储在一起的，不同列簇之间是分开存储，即同一张表的列A与列B分别位于两个不同的列簇内，当只需要读取A的时候，并不需要将B也读取进来，即A列与B列之间互不影响；步骤9、结束。