[发明专利]基于对象存储分片上传的对象传送及收集方法、终端设备

说明书

本发明公开了一种基于对象存储分片上传的对象传送及收集方法、终端设备，该对象传送方法包括：发送对象初始化请求，接收对象标识；将对象切分成分片，写入数据，发送分片上传请求；接收分片数据；发送分片上传完成请求；发送修改对象数据请求，接收待修改分片区间，使用待修改分片区间重新上传分片，使用新的分片数据覆盖旧的数据，当新数据上传完成，再次发送分片上传完成请求。实现了分片上传大对象过程中对象可见，直接以上传新分片方式来覆盖修改对象数据，而无需再重新上传整个对象来更新修改，节省修改时间，节约资源，从而解决上传过程对象不可见及修改不便的问题。

技术领域

本发明涉及存储技术领域，特别是涉及一种基于对象存储分片上传的对象传送及收集方法、终端设备。

背景技术

伴随着信息技术的蓬勃发展，互联网数据量越来越巨大，分布式对象存储技术应运而生。该技术十分适用于存储音视频文件等非结构化数据，同时还具备直接高效访问磁盘以及满足文件共享的特点。因而，不管是公有云还是私有云厂商都将对象存储技术作为实现存储产品的关键技术。

在对象存储系统中，最为基本单元的对象被分为数据和元数据两个部分，分别存储在磁盘的不同位置。其中，用户是通过元数据来访问对象的。元数据也包含了两部分内容。一部分元数据描述了数据的属性信息，一般包括：对象名称、对象大小、创建时间、创建者以及用户自定义的属性。另一部分元数据被称为manifest，描述了对象数据在磁盘上的位置分布。用户通过对象的元数据信息，就可以读取磁盘上该对象的数据。

一般而言，对象存储系统支持两种方式上传对象至存储系统，分别是整体上传和分片上传。整体上传用于上传对象比较小、上传时间比较短的场景；分片上传用于上传大对象，耗时长的场景,如视频监控、流式日志分析等场景下，单个文件一般会比较大，而且会持续写入一段时间，比如视频监控单个文件需要支持30分钟左右的视频流写入，按照对象该视频监控数据是无法读取的。但在视频监控场景，用户有时需要回放30分钟的数据，需要一种方法能够读取正在写入的文件。然而，不管是整体上传还是分片上传，对象存储系统都是在数据上传完成后，才生成元数据。这就导致通过分片上传大对象的过程中，由于不存在元数据，该大对象对用户不可见。由于大对象数据部分比较大，所以用户有可能在很长时间内都不可见该对象。

对于存储到对象存储系统中的对象而言，如果需要修改该对象的数据，则只能通过上传同名对象的方法来处理。该方法对于整体上传的对象而言是可以接受的，因为通过整体上传的对象一般数据比较小，上传的所需要的资源也较少。但是，对于通过分片上传的大对象来说，由于数据比较大，通过再次上传对象，显然不合理。因此，期望能够直接修改对象的部分数据来实现对象修改的目标。

公开号为CN111835867A的专利提供了一种文件上传方法及系统，本发明的方法包括如下步骤：S1、获取文件，并将获取的文件初始化；S2、将文件进行分割成分片，并将已上传的分片进行过滤后，将剩余分片进行上传；S3、将上传后的分片进行合并成原文件。本发明的系统包括文件获取模块、文件初始化模块、文件分片模块、文件上传模块和对象存储。本发明通过分片上传和断点续传机制，利用多线程技术进行上传，大大提高了文件的上传速度，降低上传时间和风险性，有效改善大文件以及超大文件的上传体验。

该方案的主要缺点有：

1.对象上传过程中，无法对用户可见；

2.对象上传后，无法直接修改对象数据。