[发明专利]一种非结构化数据文件的元数据同步方法、装置及设备

说明书

公开了一种非结构化数据文件的元数据同步方法、装置及设备。在数据文件发生更新时，确定出数据文件的元数据记录，进而从已经存在的元数据索引文件中查询出最大序列号，并对新的元数据记录从最大序列号开始依序递增的编号，然后合并得到新的元数据索引文件；在拉取方需要拉取数据文件之前，即获取这个新的元数据索引文件，并与本地的预存的进行对比，从而可以确定出发生了更新的数据文件的元数据记录，进而可以依序拉取更新的数据文件。

技术领域

本说明书实施例涉及信息技术领域，尤其涉及一种非结构化数据文件的元数据同步方法、装置及设备。

背景技术

在一些涉及到跨域同步或者跨云同步的场景下，例如监管科技、多方协同等等场景下，数据传输过程的稳定性难以得到保障，再考虑到安全问题，使用非结构存储的数据文件的形式来传输数据就很有必要。而现有的方案在基于数据文件的跨域传输时，不能有效地管理其元数据信息，容易造成传输过程的错误。

基于此，本申请提供一种基于元数据同步的准确的数据传输方案。

发明内容

本申请实施例的目的是提供一种基于元数据同步的准确的数据传输方案。

为解决上述技术问题，本申请实施例是这样实现的：

第一方面，本说明书实施例提供一种非结构化数据文件的元数据同步方法，包括：

获取数据文件，生成所述数据文件的元数据记录，所述元数据记录中不包含序列号；

确定元数据索引文件中的最大序列号；

给所述元数据记录赋予从所述最大序列号依次递增的序列号，生成包含序列号的元数据记录；

将所述包含序列号的元数据记录合并至所述元数据索引文件中，生成新的元数据索引文件。

第二方面，本说明书实施例提供一种基于前述元数据索引文件的数据文件拉取方法，包括：

获取元数据索引文件；

对比获取得到的元数据索引文件与本地预存的元数据索引文件，确定出新增的元数据记录；

按照所述新增的元数据记录的序列号，依序拉取所述元数据记录所对应的数据文件；

将本地预存的元数据索引文件替换为获取得到的元数据索引文件。

与第一方面对应的，本说明书实施例还提供一种非结构化数据文件的元数据同步装置，包括：

获取模块，获取数据文件，生成所述数据文件的元数据记录，所述元数据记录中不包含序列号；

确定模块，确定元数据索引文件中的最大序列号；

生成模块，给所述元数据记录赋予从所述最大序列号依次递增的序列号，生成包含序列号的元数据记录；

更新模块，将所述包含序列号的元数据记录合并至所述元数据索引文件中，生成新的元数据索引文件。

与第二方面对应的，本说明书实施例还提供一种基于前述的元数据索引文件的数据文件拉取装置，包括：

获取模块，获取元数据索引文件；

对比模块，对比获取得到的元数据索引文件与本地预存的元数据索引文件，确定出新增的元数据记录；

拉取模块，按照所述新增的元数据记录的序列号，依序拉取所述元数据记录所对应的数据文件。