[发明专利]一种基于大数据的数据存储方法、系统、设备及存储介质

摘要

本发明公开了一种基于大数据的数据存储方法：根据业务参数以及各个计算集群的硬件参数，为每个计算集群规划各自存储的数据列数；在虚拟数据库中构建包含每个计算集群中存储的每一列数据的超级表格SuperTable，并根据每个计算集群各自存储的数据列数，将SuperTable纵向切分为多个目标列表Cabinet；构建路由信息，以使得在对SuperTable中的任意列进行读写操作时定位到相应的计算集群中。应用本发明所提供的方法，可以对具有任意列数的海量数据进行存储，实现了数据存储列表的宽度的无限拓展。本发明还公开了具有相应技术效果的基于大数据的数据存储系统、设备及存储介质。

主权项

1.一种基于大数据的数据存储方法，其特征在于，包括：根据业务参数以及各个计算集群的硬件参数，为每个所述计算集群规划各自存储的数据列数；在虚拟数据库中构建包含每个所述计算集群中存储的每一列数据的超级表格SuperTable，并根据每个所述计算集群各自存储的所述数据列数，将所述SuperTable纵向切分为多个目标列表Cabinet；构建路由信息，以使得在对所述SuperTable中的任意列进行读写操作时定位到相应的计算集群中，所述路由信息中包括每个所述Cabinet各自对应的所述计算集群的信息，以及每个所述Cabinet与所述SuperTable之间的映射关系。