[发明专利]索引压缩方法、装置、计算机可读存储介质及电子设备

说明书

本发明涉及索引压缩方法、装置、计算机可读存储介质及电子设备，该方法包括：将所述索引文件原有key分为高位部分和低位部分；复用所述高位部分与所述低位部分表示新offset；其中，作为新offset时，所述高位部分用于表示base.dat里面atomic.dat的区间范围；所述低位部分用于表示相对所述atomic.dat的偏移地址；将原有size的大小压缩为2个字节后作为新size；基于所述新key、所述新offset、所述新size以及原有crc16组成新的索引文件。将原有key进行分割，只留低位部分存储在内存中，且复用高位部分与低位部分作为offset，并将原有size的大小压缩为2个字节后作为新size，以此大大减小了索引文件的大小，进而有效降低了索引文件所占内存的大小。

技术领域

本发明涉及海量分布式小文件的存储索引技术领域，具体涉及索引压缩方法、装置、计算机可读存储介质及电子设备。

背景技术

在处理海量小文件(如数据大小为几KB或十几KB的文件)的系统的存储压力场景中，特别是操作系统的inode(索引节点)会占用一部分元数据，这样内核空间的压力特别大，在处理TB(Terabyte，太字节)级别的数据会有访问延时现象。所以现在一般使用文件聚合技术，在hdd(HardDiskDrive，硬盘驱动器)上分配一个大的空文件作为基本存储单元，命名为base.dat，每个base.dat大小设置为32GB。每个base.dat配置一个索引文件命名为base.idx。如图1所示，base.idx中包括key,offset，size，crc16这几个部分。

由此，在处理TB级别数据时，索引占用内存过多。以8TB为例，需要存储的索引值为，计算过程如下：

memory_8TB_size是8TB转换为字节的算法，单位是KB；

memory_8TB_size＝8*1024*1024*1024；

如果存储的小文件大小是8KB，小文件的个数就是总大小除以8KB。

min_file_count＝memory_8TB_size/8；

要计算索引占用的内存大小就是小文件个数乘以单个索引元数据的大小；

need_index_space＝min_file_count*16/1024.0/1024.0/1024.0；need_index_space＝16GB；其中need_index_space计算行里面与min_file_count相乘的16就是如图1所示的4个字节的key、4个字节的offset、4个字节的size、2个字节的crc16、2个字节的其他部分的数据大小相加得来的。

由此，目前需要有一种更好的方案来解决现有技术中索引占用内存过多的问题。

发明内容

本发明提供索引压缩方法、装置、计算机可读存储介质及电子设备，能够解决现有技术中索引占用内存过多的技术问题。

本发明解决上述技术问题的技术方案如下：

本发明实施例提出了一种索引压缩方法，应用于配置有索引文件的文件系统，所述索引文件包括：key、offset、size、crc16；该方法包括：

将所述索引文件原有key分为高位部分和低位部分；其中，所述高位部分与所述低位部分均为2个字节大小；所述高位部分存储在文件中用于定位索引；所述低位部分存储在内存中作为新key用于定位base.dat；

复用所述高位部分与所述低位部分表示新offset；其中，作为新offset时，所述高位部分用于表示base.dat里面atomic.dat的区间范围；所述低位部分用于表示相对所述atomic.dat的偏移地址；

将原有size的大小压缩为2个字节后作为新size；