[发明专利]分布式文件系统列式存储的元数据更新方法、装置、主机

摘要

本发明公开一种基于分布式文件系统列式存储的元数据更新方法、装置、主机，方法包括：获取分布式文件系统的数据表中待更新的元数据，将所述数据表的数据记录按行分割为多个行组，将所述数据表转换成一个全局文件元数据，以及多个行组文件，其中，所述行组文件包括实际数据块、数据索引块、本地元数据块、元数据索引块以及文件页脚；判断所述待更新的元数据是否属于所述全局文件元数据，如果否，则：更新本地元数据；根据更新后的本地元数据，在所述多个行组文件中增加更新后的本地元数据块、元数据索引块以及文件页脚。本发明的方法实现了元数据的动态更新，大大节省了该类更新操作的执行时间及所需计算资源。 1

主权项

1.一种基于分布式文件系统列式存储的元数据更新方法，其特征在于，方法包括：

获取分布式文件系统的数据表中待更新的元数据，将所述数据表的数据记录按行分割为多个行组，将所述数据表转换成一个全局文件元数据，以及多个行组文件，其中，所述行组文件包括实际数据块、数据索引块、本地元数据块、元数据索引块以及文件页脚；

判断所述待更新的元数据是否属于所述全局文件元数据，如果否，则：

更新本地元数据；

根据更新后的本地元数据，在所述多个行组文件中增加更新后的本地元数据块、元数据索引块以及文件页脚。

2.根据权利要求1所述的方法，其特征在于，所述更新本地元数据，包括：

为每个所述行组对应生成MAP 任务，通过所述MAP任务更新与所述MAP任务对应的行组的本地元数据。

3.根据权利要求2所述的方法，其特征在于，通过所述MAP任务更新与所述MAP任务对应的行组的本地元数据，根据更新后的本地元数据，在所述多个行组文件中增加更新后的本地元数据块、元数据索引块以及文件页脚，包括：

确定所述待更新的元数据所涉及的目标数据列；

判断所述目标数据列中所述待更新的元数据是否需要进行计算，如果否，则：

生成新的元数据块，并将其添加到所述行组文件的尾部；

更新元数据索引块，将更新后的元数据索引块添加至所述行组文件的尾部；

更新文件页脚中的元数据索引块的文件偏移，根据所述元数据索引块的文件偏移，重写所述文件页脚。

4.根据权利要求2所述的方法，其特征在于，通过所述MAP任务更新与所述MAP任务对应的行组的本地元数据，根据更新后的本地元数据，在所述多个行组文件中增加更新后的本地元数据块、元数据索引块以及文件页脚，包括：

确定所述待更新的元数据所涉及的目标数据列；

判断所述目标数据列中所述待更新的元数据是否需要进行计算，如果是，则：

计算新的元数据；

根据计算后的元数据生成新的元数据块，并将其添加到所述行组文件的尾部；

更新元数据索引块，将更新后的元数据索引块添加至所述行组文件的尾部；

更新文件页脚中的元数据索引块的文件偏移，根据所述元数据索引块的文件偏移，重写所述文件页脚。

5.根据权利要求4所述的方法，其特征在于，所述计算新的元数据，包括：

扫描所述目标数据列在实际数据块中对应数据块的所有记录，并进行相应的统计计算。

6.根据权利要求1所述的方法，其特征在于，生成并执行并发任务，更新所有所述行组的本地元数据之前，包括：

判断所述待更新的元数据位置，如果所述待更新的元数据位置为行组文件中的元数据，则生成新的元数据块，所述新的元数据块包含有相应的增加或删减记录结果。

7.根据权利要求6所述的方法，其特征在于，所述生成新的元数据块，包括：

当删除的第k列已存在时，则在元数据块k中增加相应的删除记录，所述删除记录包括列名、删除标记；

当增加一个新列时，则为该列生成一个空的元数据块，并在所述元数据块中插入相应的增加记录，所述增加记录包括列名、增加标记以及可选的默认值。

8.根据权利要求1所述的方法，其特征在于，所述方法还包括：

如果所述待更新的元数据属于所述数据表中的全局文件元数据，则修改所述全局文件元数据对应的文件。

9.一种基于分布式文件系统列式存储的元数据更新装置，其特征在于，包括获取单元、第一判断单元、更新单元、第一处理单元；

所述获取单元，用于获取分布式文件系统的数据表中待更新的元数据，将所述数据表的数据记录按行分割为多个行组，将所述数据表转换成一个全局文件元数据，以及多个行组文件，其中，所述行组文件包括实际数据块、数据索引块、本地元数据块、元数据索引块以及文件页脚；

所述第一判断单元，用于判断所述待更新的元数据是否属于所述全局文件元数据，如果否，则触发所述更新单元；

所述更新单元，用于更新本地元数据；

所述第一处理单元，用于根据更新后的本地元数据，在所述多个行组文件中增加更新后的本地元数据块、元数据索引块以及文件页脚。

10.根据权利要求9所述的装置，其特征在于，所述更新单元，包括：

MAP 更新子单元，用于为每个所述行组对应生成MAP 任务，通过所述MAP任务更新与所述MAP任务对应的行组的本地元数据。

11.根据权利要求10所述的装置，其特征在于，所述MAP 更新子单元，包括数据列确定子模块、判断子模块、元数据块生成子模块、第一更新子模块、第二更新子模块；

所述数据列确定子模块，用于确定所述待更新的元数据所涉及的目标数据列；

所述判断子模块，用于判断所述目标数据列中所述待更新的元数据是否需要进行计算，如果否，则触发元数据块生成子模块；

所述元数据块生成子模块，用于生成新的元数据块，并将其添加到所述行组文件的尾部；

所述第一更新子模块，用于更新元数据索引块，将更新后的元数据索引块添加至所述行组文件的尾部；

所述第二更新子模块，用于更新文件页脚中的元数据索引块的文件偏移，根据所述元数据索引块的文件偏移，重写所述文件页脚。

12.根据权利要求10所述的装置，其特征在于，所述MAP 更新子单元，包括数据列确定子模块、判断子模块、计算子模块、元数据块生成子模块、第一更新子模块、第二更新子模块；

所述数据列确定子模块，用于确定所述待更新的元数据所涉及的目标数据列；

所述判断子模块，用于判断所述目标数据列中所述待更新的元数据是否需要进行计算，如果是，则触发所述计算子模块；

所述计算子模块，用于计算新的元数据；

所述元数据块生成子模块，用于根据计算后的元数据生成新的元数据块，并将其添加到所述行组文件的尾部；

所述第一更新子模块，用于更新元数据索引块，将更新后的元数据索引块添加至所述行组文件的尾部；

所述第二更新子模块，用于更新文件页脚中的元数据索引块的文件偏移，根据所述元数据索引块的文件偏移，重写所述文件页脚。

13.根据权利要求12所述的装置，其特征在于，所述计算子模块，包括：

统计子模块，用于扫描所