[发明专利]一种存储系统在线数据压缩方法、装置及设备

说明书

本发明公开了一种存储系统在线数据压缩方法、装置及设备，包括：接收压缩指令后，进行数据压缩得到压缩数据块；依据主元数据查找对应的段元数据，依据段元数据确定当前空白存储区域的起始位置，并据此将压缩数据块保存至物理磁盘内；接收读取指令后，依据主元数据及读取指令的读取位置来查找对应的段元数据；依据查找到的段元数据确定待读取数据在物理磁盘中的位置后进行数据读取；段元数据包括段的特征信息，段为物理磁盘对应的虚拟存储地址按固定长度划分后得到的存储区域段；主元数据包括段元数据的特征信息。本发明将元数据分段，每段对应固定长度的虚拟存储地址，方便了压缩数据读取和写入，提高了压缩性能，并且方便了压缩数据的管理。

技术领域

本发明涉及数据压缩技术领域，特别是涉及一种存储系统在线数据压缩方法、装置及设备。

背景技术

随着信息产业的发展，对存储容量的需求越来越大，存储成本不断增加，同时对存储系统的性能要求越来越高。存储系统对压缩功能的需求越来越强，压缩技术也在不断变革，如何在提高压缩率、降低压缩响应时间一直是当前存储系统的研究方向。

元数据是描述存储数据特征的数据，这里的存储数据特征包括数据长度和存储位置等，数据读取和写入均需要依据元数据进行，但是目前压缩数据的元数据实现方案中，在数据读取或写入时，均需要首先遍历元数据来确定代读取和待写入的虚拟存储地址，之后再依据该虚拟存储地址确定物理磁盘的存储位置，在进行压缩数据的写入和读取。但是，由于目前存储容量很大，使得元数据整体数据量很大。因此，每次均需要遍历元数据的话，会影响压缩数据的写入和读取的速度，影响压缩性能。并且也不容易对全部的压缩数据进行数据管理，数据管理的效率不高。

因此，如何提供一种压缩性能好、数据管理效率高的存储系统在线数据压缩方法、装置及设备是本领域技术人员目前需要解决的问题。

发明内容

本发明的目的是提供一种存储系统在线数据压缩方法、装置及设备，将元数据分段后，每段对应固定长度的虚拟存储地址，从而方便了压缩数据读取和写入，提高了压缩性能，并且方便了压缩数据的管理。

为解决上述技术问题，本发明提供了一种存储系统在线数据压缩方法，包括：

接收压缩指令后，创建压缩事务并运行；

对所述压缩指令对应的待压缩数据进行压缩，得到压缩数据块；

依据存储系统的主元数据查找对应的段元数据，依据所述段元数据确定当前空白存储区域的起始位置；所述段元数据包括段的特征信息，所述段为物理磁盘对应的虚拟存储地址按照固定长度划分后得到的存储区域段；所述主元数据包括所述段元数据的特征信息；

从所述当前空白存储区域的起始位置开始，将所述压缩数据块保存至所述物理磁盘内，并更新所述段元数据保存的当前空白存储区域的起始位置；

接收读取指令后，创建数据读取事务并运行；依据所述主元数据以及所述读取指令的读取位置来查找对应的段元数据；

依据查找到的段元数据确定待读取数据在所述物理磁盘中的位置后，从该位置读取所述待读取数据。

优选地，所述对所述压缩指令对应的待压缩数据进行压缩，得到压缩数据块之后还包括：

为所述压缩数据块添加嵌入式元数据头，所述嵌入式元数据头内包括所述压缩数据块的特征信息。

优选地，还包括：

所述主元数据和所述段元数据发生损坏时，创建数据恢复事务并运行；读取全部压缩数据块中的嵌入式元数据头中的信息；

依据读取的嵌入式元数据头中的信息恢复段元数据；

依据恢复后的段元数据恢复主元数据；

将恢复后的段元数据和主元数据保存至磁盘内。