[发明专利]数据表的元信息管理方法、装置及存储介质

说明书

本申请实施例公开了一种数据表的元信息管理方法、装置及存储介质，属于大数据技术领域。在本申请实施例中，按照数据表、数据表包括的分区和分区包括的分片这三个层次生成三种描述文件来管理该数据表的元信息。由于当前的各种数据库在存储数据表时，均是通过将数据表按照一定规则进行多层切割后来进行存储的，因此，通过上述方法来管理数据表的元信息时，不会受限于数据表所对应的数据库，通用性较好。

技术领域

本申请涉及大数据技术领域，特别涉及一种数据表的元信息管理方法、装置及存储介质。

背景技术

在分布式存储系统中，当主节点创建一个数据表并将该数据表存储至数据库时，将会生成该数据表的元信息，该元信息用于描述该数据表的结构、数据特征等。当前，根据存储数据表的数据库的不同，用于管理数据表的方法也不同。基于此，亟需提供一种适用于各种数据库场景下的数据表的元信息管理方法。

发明内容

本申请提供了一种数据表的元信息管理方法、装置及存储介质，能够适用于各种数据库场景下的元信息管理，通用性较好。所述技术方案如下：

一方面，提供了一种数据表的元信息管理方法，所述方法包括：

获取数据表的元信息，所述数据表的元信息包括所述数据表的综合信息、所述数据表所包含的多个分区的分区信息和所述多个分区中每个分区包含的多个分片的分片信息；

根据所述数据表的元信息，生成表描述文件、每个分区的分区描述文件和每个分片的分片描述文件；

其中，每个分片的分片描述文件包括相应分片的分片信息，每个分区的分区描述文件包括相应分区的分区信息和用于描述相应分区所包含的多个分片的分片描述文件的第一描述信息，所述表描述文件包含有所述数据表的综合信息和用于描述所述多个分区的分区描述文件的第二描述信息。

在本申请实施例的一种可能的实施方式中，所述数据表的综合信息包括所述数据表的状态信息、所述数据表的数据特征以及所述数据表中的数据的生命周期信息。

在本申请实施例的一种可能的实施方式中，所述第二描述信息包括所述分区描述文件的文件数量、每个分区描述文件的文件标识以及最近一次更新的分区描述文件的更新时间。

在本申请实施例的一种可能的实施方式中，所述数据表的数据特征包括所述数据表的表类型，所述表类型为时序表、散列表中的任一种。

在本申请实施例的一种可能的实施方式中，所述多个分区中每个分区的分区信息包括相应分区的数据范围、相应分区中的数据的最近一次更新时间以及用于表征所述多个分区的分区原则的划分类型。

在本申请实施例的一种可能的实施方式中，所述每个分区的分区描述文件中的第一描述信息包括相应分区所包含的多个分片的分片描述文件的文件数量和文件标识，以及相应分区内的数据量和数据增速。

在本申请实施例的一种可能的实施方式中，每个分片的分片信息包括相应分片内的数据块信息、数据的索引信息、数据量和数据增速。

在本申请实施例的一种可能的实施方式中，所述方法还包括：

根据第一分区的分区描述文件中包括的各个分片描述文件的文件标识，获取各个分片描述文件中的数据量和数据增速；

根据获取的各个分片描述文件中的数据量和数据增速，从所述第一分区包括的各个分片中选择目标分片；

将待写入所述第一分区的数据写入至所述目标分片。

在本申请实施例的一种可能的实施方式中，所述方法还包括：

当接收到所述数据表的更新元信息时，根据所述更新元信息，对所述表描述文件、一个或多个分区的分区描述文件和一个或多个分片的分片描述文件进行更新。