[发明专利]一种分布式文件存储方法、装置、处理器及存储介质

说明书

本发明公开了一种分布式文件存储方法、装置、处理器和存储介质，可应用于分布式文件系统，所述分布式文件系统用于进行块存储、文件存储和对象存储；所述块存储、文件存储和对象存储在存储时均以底层的对象object形式存储。所述方法包括：将多个所述object对应的第一数据类型序列化时转换为第二数据类型的数据保存在一个容器中；所述第二数据类型所占字节数小于所述第一数据类型所占字节数；所述第一数据类型包含所述object的特征信息；从所述容器中读取数据时，将所述第二数据类型的数据反序列化时转换为所述object对应的第一数据类型。利用本发明提供的方法，能够降低存储文件时文件占用的存储空间，提高存储效率。

技术领域

本发明涉及数据存储技术领域，尤其涉及一种分布式文件存储方法、装置、处理器及存储介质。

背景技术

随着计算机技术和网络技术的飞速发展，存储成本在不断降低，存储容量和数据总线带宽的增长速度无法满足应用需求，海量数据的存储逐渐成为互联网技术发展急需解决的问题，人们对于分布式文件系统技术的研究也越来越成熟。现阶段分布式文件系统在存储底层的对象object时需要采用映射操作，该映射操作将每个object映射到一个PG(Placement group，放置组)，每个PG又映射到一个OSD(Object-based Storage，对象存储设备)，这样object就存放在每个OSD上挂载的磁盘中，现有技术中通常在存放每个object时会为其分配具有固定值的存储空间，例如每个存放的object都被分配了大小为4M的存储空间，每个object存储时都会占用4M存储空间，但存放一个object真正使用的存储空间往往小于该固定值，这就导致了每个object存放后都会浪费一定大小的存储空间，降低了储存效率。

发明内容

为了解决现有技术存在的技术问题，本发明提供了一种分布式文件存储方法、装置、处理器及存储介质，能够降低存储文件时文件占用的存储空间。

本申请提供了一种分布式文件存储方法，应用于分布式文件系统，所述分布式文件系统用于进行块存储、文件存储和对象存储；所述块存储、文件存储和对象存储在存储时均以底层的对象object形式存储；

该方法包括：

将多个所述object对应的第一数据类型序列化时转换为第二数据类型的数据保存在一个容器中；所述第二数据类型所占字节数小于所述第一数据类型所占字节数；所述第一数据类型包含所述object的特征信息；

从所述容器中读取数据时，将所述第二数据类型的数据反序列化时转换为所述object对应的第一数据类型。

可选的，所述第二数据类型字符串类型。

可选的，所述容器容纳16个所述第一数据类型的object。

可选的，所述第一数据类型所占字节数大于20个字节，所述第二数据类型所占字节数大于10个字节且小于20个字节。

本申请实施例还提供了一种分布式文件存储装置，应用于分布式文件系统，所述分布式文件系统用于进行块存储、文件存储和对象存储；所述块存储、文件存储和对象存储在存储时均以底层的对象object形式存储；

该装置包括：

第一转换单元，用于将多个所述object对应的第一数据类型序列化时转换为第二数据类型的数据保存在一个容器中；所述第二数据类型所占字节数小于所述第一数据类型所占字节数；所述第一数据类型包含所述object的特征信息；

第二转换单元，用于从所述容器中读取数据时，将所述第二数据类型的数据反序列化时转换为所述object对应的第一数据类型。

可选的，所述第二数据类型字符串类型。

可选的，所述容器容纳16个所述第一数据类型的object。