[发明专利]基于Ceph对象存储整体上传分段校验的实现方法

说明书

本发明公开了一种基于Ceph对象存储整体上传分段校验的实现方法，包括：客户端发送整体上传请求，对象存储系统将用户文件存入各个划分的rados对象，计算各个rados对象的数据的md5值，并存入各rados对象的扩展属性RGW_ATTR_MD5中，根据各rados对象的md5值计算用户文件的etag值；客户端发送modify请求，对象存储系统根据modify请求的请求参数找到需要修改的rados对象，并重新计算md5值，根据各rados对象的md5值计算用户文件的etag值。本发明在modify某个文件的部分数据后，能快速高效的更新整个文件etag，使得文件etag相关功能继续生效，确保数据的安全性，提升业务效率。

技术领域

本发明涉及对象存储系统领域，尤其涉及基于Ceph(一种为优秀的性能、可靠性和可扩展性而设计的统一的、分布式文件系统)对象存储整体上传分段校验的实现方法。

背景技术

对象存储综合了NAS(网络附加存储)和SAN(存储区域网络的优点)，同时具有SAN的高速直接访问和NAS的数据共享等优势，提供了高可靠性、跨平台性以及安全的数据共享的存储体系结构。相对于传统的文件系统存储，对象存储摒弃了文件系统复杂的语义和目录设计，通过扁平化的Key-Value(键值对)方式进行数据存储，大大简化了元数据管理的复杂度，几乎不存在存储容量上的技术限制。随着大数据、云计算、物理网以及5G等新技术的发展，电信、互联网、政企、医疗等行业应用的日新月异，带来的海量数据快速增长对传统的存储系统造成诸多挑战，对象存储作为新兴的存储技术更加适用于当今各行各业的海量数据存储，特别是大数据行业的应用场景。

在媒体应用场景，对象存储成为了热点音视频文件的主流存储方式，经常需要对音频，视频文件进行边读取，边编辑的方式处理数据。有些情况也需要修改部分数据，当修改一个较大的整体上传的文件时，由于数据被修改，导致etag(实体标签)和数据的本身不一致，同时由于数据量较大，重新计算文件的etag比较耗时，并可能影响业务。所以在当前我们modify(修改)后的整体上传的文件，将失去etag相关的功能，数据安全得不到有效的保障。为了迎合市场不断的变化和需求，加强市场竞争力，需要基于Ceph对象存储整体上传设计一种分段校验的实现方法。

发明内容

本发明的目的在于提供一种基于Ceph对象存储整体上传分段校验的实现方法，在modify某个文件(整体上传)的部分数据后，能快速高效的更新整个文件etag，使得文件etag相关功能继续生效，确保数据的安全性，提升业务效率。

实现上述目的的技术方案是：

一种基于Ceph对象存储整体上传分段校验的实现方法，包括：

步骤一、客户端发送整体上传请求到对象存储系统，对象存储系统将用户文件按处理逻辑分别存入各个划分的rados对象(Reliable,Autonomic,DistributedObjectStore，即可靠的、自动化的、分布式的对象存储。Ceph的本质是对象存储)，计算各个rados对象的数据的md5(Message-Digest Algorithm 5，一种被广泛使用的密码散列函数)值，并存入各rados对象的扩展属性RGW_ATTR_MD5中，根据各rados对象的扩展属性RGW_ATTR_MD5中各rados对象的md5值计算用户文件的etag值；

步骤二、客户端发送modify请求到对象存储系统，对象存储系统根据modify请求的请求参数找到需要修改的rados对象，并重新计算modify请求所涉及的rados对象的md5值，修改完毕后，根据各rados对象的扩展属性RGW_ATTR_MD5中各rados对象的md5值计算用户文件的etag值。

优选的，客户端和对象存储系统之间通过(RESTFUL是一种网络应用程序的设计风格和开发方式，基于HTTP，可以使用XML格式定义或JSON格式定义)API(应用程序接口)接口进行数据交互。

优选的，所述步骤一，包括：