[发明专利]一种对象存储系统实现稀疏写的方法、装置及电子设备

说明书

本发明公开了一种对象存储系统实现稀疏写的方法，可以在对象任意位置写入任意长度的数据，写入的数据不要求具有连续性，支持随机写，稀疏写，支持数据修改。并且，本发明提供的方法中对象存储系统，其实通过记录已写的数据及定位信息，且在目标对象写完成时，计算出空白数据段及其空白对象分片，并创建空白对象分片，在读的时候会用数据零补齐返回，最终实现对象存储系统的数据稀疏写入，进而避免了数据读/写放大问题，也无需对待存储的数据进行迁移或转移，从而能有效的提高对象存储系统的性能。

技术领域

本发明涉及计算机技术领域，尤其涉及一种对象存储系统实现稀疏写的方法、装置及电子设备。

背景技术

随着互联网应用的迅猛发展，PB级甚至EB级的海量数据存储变得尤为重要。对象存储系统作为一种新型的分布式存储系统，对象是对象存储系统中的基本实体，通过提供基于对象的访问接口，可存储任意类型的数据，比如：图片、视频、音频、文本等。对象存储系统有效解决了传统存储共享能力有限、扩展性差等问题。

但是，目前现有的对象存储系统只支持同步数据的顺序写入，其并不支持数据的稀疏写入，从而造成数据传输速度较慢，分布式对象存储系统对接NFS的存储性能较差的问题。

因此，如何提供一种解决上述技术问题的方案是本领域技术人员目前需要解决的问题。

发明内容

本发明目的就是为了弥补已有技术的缺陷，提供一种对象存储系统实现稀疏写的方法、装置及电子设备，以解决现有技术中对象存储系统不支持数据的稀疏写入的问题。

第一方面，为解决上述技术问题，本发明提供一种对象存储系统实现稀疏写的方法，包括：

S1，接收客户端发送的数据存储请求，其中，所述数据存储请求中包括目标用户输入的待存储的数据片段；

S2，计算所述待存储的数据片段对应的对象分片和内部偏移，并将数据片段写入对应的对象分片，同时记录数据片段的偏移和长度；

S3，当接收完所述客户端发送的所有数据存储请求后，根据已记录的数据片段对应的偏移和数据长度，确定出多个所述待存储数据片段之间的空白数据片段，并根据所述空白数据片段的偏移和数据长度，为其设置对象分片，以使所述空白数据片段对应的对象分片与所述待存储的数据片段对应的对象分片组成所述目标对象。

可选的，所述步骤S1中的所述数据存储请求还包括：用于标识数据片段的存储位置的偏移和数据长度。

可选的，所述步骤S2中的所述对象分片设置在所述对象存储系统中，以用于存储数据；所述数据片段的偏移是数据片段在目标对象中的地址与目标对象的起始地址之间的位置偏移；所述内部偏移为所述数据片段在所述对象分片中的地址与所述对象分片的起始地址之间的位置偏移。

可选的，在所述步骤S3之后所述方法还包括：

S4：更新所述目标对象的元数据，以将所述目标对象包含的元数据存储在所述对象存储系统中。

可选的，在所述步骤S4之后，所述方法还包括：

S5：接收客户端发送的数据读取请求，所述数据读取请求中包括待读取数据片段的偏移和数据长度；

S6：根据所述待读取数据片段的偏移和数据长度，确定所述待读取数据片段所在的对象分片和内部偏移，并根据确定出的对象分片中存储的数据，向所述客户端发送相应的响应信息。

可选的，所述响应信息包括第一响应信息和第二响应信息；

所述步骤S6，包括：

S6.1：判断所述对象分片中存储的数据是否为空白数据片段；

S6.2：若判断结果为是，则所述对象存储系统向所述客户端发送第一响应信息；其中，所述第一响应信息包括数据零；