[发明专利]一种在线数据压缩在存储中的集成方法及系统

权利要求书

1.一种在线数据压缩在存储中的集成方法，其特征在于，方法包括：

将IO数据写入上层缓存中；

压缩模块根据预设的压缩量将上层缓存中多个IO数据进行组合压缩，形成组合压缩IO数据块；

压缩模块针对组合压缩IO数据块中的每个IO数据对应生成一元数据，元数据用于记录压缩前后的每个IO数据处于磁盘中的位置；

压缩模块将组合压缩IO数据块以及与该组合压缩IO数据块内部IO数据相对应的元数据下发给下层缓存；

下层缓存保存组合压缩IO数据块和元数据；

下层缓存将保存的组合压缩IO数据块和元数据保存到后端磁盘；

主机接口层接收读IO数据请求，并在上层缓存中读取IO数据；

若在上层缓存中读取到所述IO数据，则将IO数据返回给主机接口层；

若在上层缓存中未读取到所述IO数据，则将IO数据读请求发送至压缩模块，在压缩模块中读取IO数据；

若在压缩模块中读取到所述IO数据，则将IO数据返回给上层缓存，继而返回至主机接口层；

若在压缩模块中未读取到所述IO数据，则将IO数据读请求发送至下层缓存，在下层缓存读取所述IO数据的元数据，根据元数据信息查找到对应的组合压缩IO数据块内的IO数据；

若在下层缓存中读取到所述IO数据，则将IO数据所在的组合压缩IO数据块返回至压缩模块，压缩模块对所述组合压缩IO数据块进行解压，恢复IO数据；

将IO数据返回给上层缓存，继而返回至主机接口层；

若在下层缓存中未读取到所述IO数据，则在后端磁盘读取所述IO数据的元数据，根据元数据信息查找到对应的组合压缩IO数据块内的IO数据；

若在后端磁盘中读取到所述IO数据，则将IO数据所在的组合压缩IO数据块返回至压缩模块，压缩模块对所述组合压缩IO数据块进行解压，恢复IO数据；

将IO数据返回给上层缓存，继而返回至主机接口层；

预设的压缩量的获取方式包括：

在上层缓存随机抽取N个IO数据块，N为非零的自然数，对抽取的IO数据块进行组合压缩，组合压缩后计算出N个IO数据块的平均MD5值，将该值作为预设的压缩量。

2.一种在线数据压缩在存储中的集成系统，其特征在于，包括：上层缓存模块，压缩模块，下层缓存模块，后端磁盘，上层缓存IO数据处理模块，压缩模块IO数据处理模块，下层缓存IO数据处理模块、后端磁盘数据处理模块、预设的压缩量设置模块；

上层缓存模块用于供IO数据写入；

压缩模块用于根据预设的压缩量将上层缓存模块中多个IO数据进行组合压缩，形成组合压缩IO数据块；压缩模块针对组合压缩IO数据块中的每个IO数据对应生成一元数据，元数据用于记录压缩前后的每个IO数据处于磁盘中的位置；

压缩模块将组合压缩IO数据块以及与该组合压缩IO数据块内部IO数据相对应的元数据下发给下层缓存模块；

下层缓存模块用于保存组合压缩IO数据块和元数据，并将保存的组合压缩IO数据块和元数据保存到后端磁盘；

上层缓存IO数据处理模块用于根据主机接口层接收读IO数据请求，上层缓存IO数据处理模块在上层缓存模块中读取IO数据，若在上层缓存中读取到所述IO数据，则将IO数据返回给主机接口层；

压缩模块IO数据处理模块用于若在上层缓存模块中未读取到所述IO数据，上层缓存IO数据处理模块将IO数据读请求发送至压缩模块，压缩模块IO数据处理模块在压缩模块中读取IO数据；若在压缩模块中读取到所述IO数据，则将IO数据返回给上层缓存，继而返回至主机接口层；

下层缓存IO数据处理模块用于若在压缩模块中未读取到所述IO数据，则将IO数据读请求发送至下层缓存模块，下层缓存IO数据处理模块在下层缓存模块读取所述IO数据的元数据，根据元数据信息查找到对应的组合压缩IO数据块内的IO数据；

若在下层缓存模块中读取到所述IO数据，则将IO数据所在的组合压缩IO数据块返回至压缩模块，压缩模块对所述组合压缩IO数据块进行解压，恢复IO数据；

将IO数据返回给上层缓存模块，继而返回至主机接口层；

后端磁盘数据处理模块用于若在下层缓存模块中未读取到所述IO数据，则在后端磁盘读取所述IO数据的元数据，根据元数据信息查找到对应的组合压缩IO数据块内的IO数据；若在后端磁盘中读取到所述IO数据，则将IO数据所在的组合压缩IO数据块返回至压缩模块，压缩模块对所述组合压缩IO数据块进行解压，恢复IO数据；将IO数据返回给上层缓存模块，继而返回至主机接口层；

预设的压缩量设置模块用于在上层缓存模块随机抽取N个IO数据块，N为非零的自然数，对抽取的IO数据块进行组合压缩，组合压缩后计算出N个IO数据块的平均MD5值，将该值作为预设的压缩量。