[发明专利]数据存储方法、装置、存储介质及电子装置

说明书

本申请公开了一种数据存储方法、装置、存储介质及电子装置。该方法包括：判断存储端是否已存储分段上传的目标分段数据；在存储端已存储目标分段数据的情况下，获取待上传数据中与目标分段数据不同的数据，得到增量数据；将增量数据上传至存储端。通过本申请，解决了相关技术中的数据分段上传方式在数据覆盖上传过程中耗费资源量大、上传效率低的问题。

技术领域

本申请涉及数据存储技术领域，具体而言，涉及一种数据存储方法、装置、存储介质及电子装置。

背景技术

随着互联网应用的高速发展，各应用系统产生的各种影像、图片、音频、视频、文档文件等非结构化数据呈现“爆炸性”增长的势态。海量数据的出现和数据复杂度的增加，对于高效、及时的存储和处理的要求不断提升。而对象存储由于其访问便捷、存储成本低、对象数量支持上千亿、易扩展等特点，受到了广泛的关注和发展，其中，AWS(Amazon WebServices)推出了S3(Simple Storage Service)对象存储服务，AWS S3凭借其简单、易用的S3 API成为事实上的标准，各主流云存储服务提供商都兼容AWS S3的协议。如今，AWS S3已广泛应用于备份、存储、归档、以及灾难恢复等各种场景中。

在云存储服务中，一个常见的操作是数据上传，AWS S3提供了一次性上传和分段上传。对于小数据量的上传，可以采用简单的一次性上传；对于大数据量的上传，分段上传可以避免因网络环境不好导致的一直需要从文件起始位置开始上传的问题，还能使用多线程对不同分段数据进行并发发送，提高网络吞吐量，降低发送时间。

但是当分段上传的对象进行覆盖上传时，会重新按照分段上传的流程上传所有分段和数据，而在S3的常见应用场景周期性备份中，通常客户端数据只是进行了部分修改，即使数据并没有进行修改或者仅部分数据进行了修改，也会按照分段上传流程上传所有的数据片。对于大文件而言，重复多次全量上传会占用大量的网络带宽，若我们已经分段上传过的文件仅做了很小的改动，标准的S3分段上传仍然会进行全量的上传。因此标准的S3分段上传并不能很好地解决大文件覆盖上传的问题。

针对相关技术中的数据分段上传方式进行数据覆盖上传时耗费资源量大、上传效率低的问题，目前尚未提出有效的解决方案。

发明内容

本申请提供一种数据存储方法、装置、存储介质及电子装置，以解决相关技术中的数据分段上传方式在数据覆盖上传过程中耗费资源量大、上传效率低的问题。

根据本申请的一个方面，提供了一种数据存储方法。该方法包括：判断存储端是否已存储分段上传的目标分段数据；在存储端已存储目标分段数据的情况下，获取待上传数据中与目标分段数据不同的数据，得到增量数据；将增量数据上传至存储端。

可选地，目标分段数据中至少包括一个分段数据，每个分段数据的大小为第一预设数据量，待上传数据的大小大于第一预设数据量，获取待上传数据中与目标分段数据不同的数据，得到增量数据包括：将待上传数据按照第二预设数据量进行分片，得到多个分片数据，其中，第二预设数据量大于第一预设数据量；获取每个分片数据中与目标分段数据不同的数据，得到多个子增量数据；由多个子增量数据组成增量数据。

可选地，目标分段数据中的各个分段数据关联有校验和，各个分段数据关联有校验和构成目标校验和列表，获取每个分片数据中与目标分段数据不同的数据，得到多个子增量数据包括：从分片数据的首端每次移动第三预设数据量，直至分片数据的尾端，并在每次移动之后按照第一预设数据量进行一次分块，得到多个第一分块数据；分别计算每个第一分块数据的校验和，并获取与目标校验和列表中的校验和匹配的第一分块数据；将多个第一分块数据中的匹配的第一分块数据删除，得到子增量数据。

可选地，在获取每个分片数据中与目标分段数据不同的数据，得到多个子增量数据之后，该方法还包括：将相邻两个分片数据中的前一分片数据的尾端子增量数据和后一分片数据的首端子增量数据进行合并，得到合并数据；获取合并数据中与目标分段数据不同的数据，并将不同的数据确定为合并数据对应的子增量数据。