[发明专利]一种非结构化数据文件的元数据同步方法、装置及设备

权利要求书

1.一种非结构化数据文件的元数据同步方法，包括：

获取数据文件，生成所述数据文件的元数据记录，所述元数据记录中不包含序列号；

确定元数据索引文件中的最大序列号；

给所述元数据记录赋予从所述最大序列号依次递增的序列号，生成包含序列号的元数据记录；

将所述包含序列号的元数据记录合并至所述元数据索引文件中，生成新的元数据索引文件。

2.如权利要求1所述的方法，当所述元数据中还包括生成时间点时，所述方法还包括：

确定有效时间点，从所述元数据索引文件中删除生成时间在点所述有效时间点之前的元数据记录。

3.如权利要求1所述的方法，生成所述数据文件的元数据记录，包括:

确定所述数据文件的完整性校验值，生成所述数据文件的包含所述完整性校验值的元数据记录。

4.如权利要求1所述的方法，生成所述数据文件的元数据记录，包括:

确定所述数据文件的压缩策略或者加密策略，生成包含所述压缩策略或者加密策略的元数据记录。

5.一种基于权利要求1所述的元数据索引文件的数据文件拉取方法，包括：

获取元数据索引文件；

对比获取得到的元数据索引文件与本地预存的元数据索引文件，确定出新增的元数据记录；

按照所述新增的元数据记录的序列号，依序拉取所述元数据记录所对应的数据文件；

将本地预存的元数据索引文件替换为获取得到的元数据索引文件。

6.如权利要求5所述的方法，当所述元数据记录中还包含数据文件的完整性校验值时，所述方法还包括：

计算拉取得到的数据文件的当前的完整性校验值，并验证所述当前的完整性校验值和所述元数据记录中该数据文件的完整性校验值的一致性。

7.如权利要求5所述的方法，当所述元数据记录中还包含有压缩策略或者加密策略时，所述方法还包括：

确定所述压缩策略所对应的解压策略，并解压缩所述元数据记录对应的数据文件；或者确定所述加密策略所对应的解密策略，并解密所述元数据记录对应的数据文件。

8.一种非结构化数据文件的元数据同步装置，包括：

获取模块，获取数据文件，生成所述数据文件的元数据记录，所述元数据记录中不包含序列号；

确定模块，确定元数据索引文件中的最大序列号；

生成模块，给所述元数据记录赋予从所述最大序列号依次递增的序列号，生成包含序列号的元数据记录；

更新模块，将所述包含序列号的元数据记录合并至所述元数据索引文件中，生成新的元数据索引文件。

9.如权利要求8所述的装置，当所述元数据中还包括生成时间点时，所述装置还包括删除模块，确定出元数据的有效时间点，从所述元数据索引文件中删除生成时间在点所述有效时间点之前的元数据记录。

10.如权利要求8所述的装置，所述生成模块，确定所述数据文件的完整性校验值，生成所述数据文件的包含所述完整性校验值的元数据记录。

11.如权利要求8所述的装置，所述生成模块，确定所述数据文件的压缩策略或者加密策略，生成包含所述压缩策略或者加密策略的元数据记录。

12.一种基于权利要求1所述的元数据索引文件的数据文件拉取装置，包括：

获取模块，获取元数据索引文件；

对比模块，对比获取得到的元数据索引文件与本地预存的元数据索引文件，确定出新增的元数据记录；

拉取模块，按照所述新增的元数据记录的序列号，依序拉取所述元数据记录所对应的数据文件。