[发明专利]一种基于大数据的数据存储方法、系统、设备及存储介质

权利要求书

1.一种基于大数据的数据存储方法，其特征在于，包括：

根据业务参数以及各个计算集群的硬件参数，为每个所述计算集群规划各自存储的数据列数；

在虚拟数据库中构建包含每个所述计算集群中存储的每一列数据的超级表格SuperTable，并根据每个所述计算集群各自存储的所述数据列数，将所述SuperTable纵向切分为多个目标列表Cabinet；

构建路由信息，以使得在对所述SuperTable中的任意列进行读写操作时定位到相应的计算集群中，所述路由信息中包括每个所述Cabinet各自对应的所述计算集群的信息，以及每个所述Cabinet与所述SuperTable之间的映射关系。

2.根据权利要求1所述的基于大数据的数据存储方法，其特征在于，在所述构建路由信息之后，还包括：

接收目标读写指令；

通过解析所述目标读写指令，并根据所述路由信息生成针对待读写的一个或多个所述Cabinet的目标执行指令；

根据所述目标执行指令进行数据的读写。

3.根据权利要求2所述的基于大数据的数据存储方法，其特征在于，所述根据所述目标执行指令进行数据的读写，包括：

当确定出的待读写的所述Cabinet为多个时，将所述目标执行指令分解为与待读写的所述Cabinet数量相同的多个子目标执行指令，各个所述子目标执行指令与各个待读写的所述Cabinet一一对应；

将各个所述子目标执行指令分别发送至对应于各个待读写的所述Cabinet的计算集群中进行数据的读写。

4.根据权利要求1所述的基于大数据的数据存储方法，其特征在于，所述业务参数包括：业务数据的列的数量，采集所述业务数据的频率，采集所述业务数据的吞吐量。

5.根据权利要求1所述的基于大数据的数据存储方法，其特征在于，所述各个计算集群的硬件参数包括：各个计算集群各自的磁盘每秒并发IO数量，各个所述计算集群各自的内存大小，各个所述计算集群各自的内存吞吐量。

6.根据权利要求1所述的基于大数据的数据存储方法，其特征在于，所述计算集群与所述Cabinet之间的数量对应关系为1∶1的对应关系。

7.根据权利要求1至6任一项所述的基于大数据的数据存储方法，其特征在于，所述路由信息中还包括：各个所述计算集群的访问方式信息。

8.一种基于大数据的数据存储系统，其特征在于，包括：

计算集群规划模块，用于根据业务参数以及各个计算集群的硬件参数，为每个所述计算集群规划各自存储的数据列数；

Cabinet构建模块，用于在虚拟数据库中构建包含每个所述计算集群中存储的每一列数据的超级表格SuperTable，并根据每个所述计算集群各自存储的所述数据列数，将所述SuperTable纵向切分为多个目标列表Cabinet；

路由信息构建模块，用于构建路由信息，以使得在对所述SuperTable中的任意列进行读写操作时定位到相应的计算集群中，所述路由信息中包括每个所述Cabinet各自对应的所述计算集群的信息，以及每个所述Cabinet与所述SuperTable之间的映射关系。

9.一种基于大数据的数据存储设备，其特征在于，包括：

存储器，用于存储数据存储程序；

处理器，用于执行所述数据存储程序以实现权利要求1至7任一项所述的基于大数据的数据存储方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有数据存储程序，所述数据存储程序被处理器执行时实现如权利要求1至7任一项所述的基于大数据的数据存储方法的步骤。