[发明专利]数据重建方法及装置、数据存储系统、存储介质

说明书

本发明公开了一种数据重建方法及装置、数据存储系统、存储介质。其中，该方法包括：响应数据重建指令，创建对预设存储平台进行访问的访问配置信息，其中，访问配置信息用于访问预设存储平台，以索引目标数据所属的源站存储桶中各个存储对象的对象列表；基于对象列表，确定多个存储对象的源站信息；基于源站信息，采用预先配置的调用列举接口重建每个存储对象的元数据，并将元数据写入本地集群；基于源站信息和元数据，生成数据重建任务，其中，数据重建任务用于重建目标数据。本发明解决了相关技术中采用回源方式无法实现数据的批量重建的技术问题。

技术领域

本发明涉及数据存储技术领域，具体而言，涉及一种数据重建方法及装置、数据存储系统、存储介质。

背景技术

相关技术中，随着互联网应用的高速发展，日益产生的海量非结构化数据需要存储，当前常用的数据存储方案是采用对象存储，对象存储能够提供海量存储的解决方案，支持百亿或者千亿对象产品规格。通常在数据灾备场景，针对同一款产品，通过配置数据站点同步或者桶复制功能实现数据备份，而对不同产品，通常使用数据迁移的方式，主动触发写入到另外的集群，这种方式类似于重新上传。但在多版本场景，受限于不同产品的机制，没办法实现数据的无缝迁移。

为了满足数据灾备或者对其他产品的纳管，当前的数据迁移方式是采用手动迁移的方式实现数据迁移，即在将要进行迁移的数据站点，通过使用第三方工具，列举存储桶下的对象，然后遍历桶对象，将数据写入到另外一个站点，这种方式迁移效率较低。

另外的解决方案，是采用回源的方式，即给本地的存储桶配置第三方的访问规则，在访问本地数据后，如果触发404的不存在的情况，实时去源站拿数据，写入到本地。但是这种回源的方式仅能单点触发一个对象，不能批量进行数据重建，存在缺陷。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种数据重建方法及装置、数据存储系统、存储介质，以至少解决相关技术中采用回源方式无法实现数据的批量重建的技术问题。

根据本发明实施例的一个方面，提供了一种数据重建方法，应用于服务端平台，包括：响应数据重建指令，创建对预设存储平台进行访问的访问配置信息，其中，所述访问配置信息用于访问所述预设存储平台，以索引目标数据所属的源站存储桶中各个存储对象的对象列表；基于所述对象列表，确定多个存储对象的源站信息；基于所述源站信息，采用预先配置的调用列举接口重建每个所述存储对象的元数据，并将所述元数据写入本地集群；基于所述源站信息和所述元数据，生成数据重建任务，其中，所述数据重建任务用于重建所述目标数据。

可选地，数据重建方法应用于预设数据重建模式，其中，所述预设数据重建模式为下述之一：普通重建模式、升级重建模式和灾难重建模式。

可选地，在所述预设数据重建模式为普通重建模式的情况下，基于所述对象列表，确定多个存储对象的源站信息的步骤，包括：遍历所述对象列表，得到多个对象信息；基于所述对象信息，重建所述存储对象；判断所述本地集群中是否存在重建后的所述存储对象；若所述本地集群中不存在重建后的所述存储对象，则访问源站，得到所述存储对象的元数据信息和对象标签；将所述元数据信息和所述对象标签表征为所述源站信息。

可选地，在所述预设数据重建模式为普通重建模式的情况下，基于所述源站信息，采用预先配置的调用列举接口重建每个所述存储对象的元数据的步骤，还包括：获取所述服务端平台所支持的存储类别；根据所述存储类别，调用预先配置的调用列举接口；采用所述调用列举接口重建每个所述存储对象的元数据。

可选地，在所述预设数据重建模式为灾难重建模式的情况下，基于所述对象列表，确定多个存储对象的源站信息的步骤，包括：在出现数据中心故障的情况下，获取故障数据中心在公有云中预先分层的分层数据，其中，所述分层数据包括多个分层存储桶；切换所述故障数据中心为业务数据中心；在所述业务数据中心中创建与所述分层存储桶对应的镜像存储桶；基于所述对象列表，确定多个所述镜像存储桶的源站信息。