[发明专利]自适应压缩方法和压缩装置、计算机设备、存储介质

说明书

本申请提供了一种自适应压缩方法和压缩装置、计算机设备、存储介质，属于计算机技术领域。该方法包括：获取待识别页面的访问频率信息；根据待识别页面在预设的元数据文件中进行文件划分处理，得到待识别页面的状态数据文件，状态数据文件用于存储待识别页面的初始访问状态和页面压缩状态；根据冷温热状态阈值对访问频率信息进行状态划分确定目标访问状态，并根据目标访问状态更新初始访问状态；根据目标访问状态和算法库确定待识别页面的目标压缩算法；对页面压缩状态进行压缩状态判断，得到判断结果；根据判断结果和目标压缩算法对待识别页面进行数据压缩。本申请实施例能够同时平衡数据库的性能和压缩率。

技术领域

本申请涉及计算机技术领域，尤其涉及一种自适应压缩方法和压缩装置、计算机设备、存储介质。

背景技术

目前，在数据库中对数据的压缩是使用较小的数据存储空间以节约存储成本，并减少磁盘I O量，提升缓存命中率，从而提升数据库的性能。现有的数据库压缩技术方案包括：(1)页面级压缩方案：在创建表的时候指定现有的压缩算法，以page为粒度进行压缩和解压，该技术方案对数据库中的所有数据采用相同的压缩算法，且即使只读写一行数据，也需要压缩和解压整个page，压缩效率较低且产生较多资源浪费；(2)行级压缩方案：以page为单位创建字典，由该字典对page内的每一行数据采用相同的压缩算法进行压缩和解压，且字典存储于page内部，该技术方案是以行为压缩解压粒度，能有效利用cpu资源，但该方案压缩效率较低；(3)分层压缩方案：该方案主要应用于日志结构合并树(Log-StructuredMerge-Tree，LSM树)，可以为不同层的page可以配置不同压缩算法，且可以支持多种成熟压缩算法，但该技术方案主要是按照数据天然的分层来实现多种压缩算法的组合，且该方案仅能够适用于LSM树，从而不能达到对压缩率和资源利用率的要求。此外，现有的压缩算法是通过扫描磁盘上的所有数据对page进行压缩，该方法需要占用较多的磁盘I O带宽，且无效的磁盘扫描会降低数据压缩性能。因此，如何同时提高数据库的性能和压缩率，成为了亟待解决的技术问题。

发明内容

本申请实施例的主要目的在于提出了一种自适应压缩方法和压缩装置、计算机设备、存储介质，能够同时提高据库的性能和压缩率。

为实现上述目的，本申请实施例的第一方面提出了一种自适应压缩方法，所述方法包括：

获取待识别页面的访问频率信息；

根据所述待识别页面在预设的元数据文件中进行文件划分处理，得到所述待识别页面的状态数据文件，所述状态数据文件用于存储所述待识别页面的初始访问状态和页面压缩状态；

根据预设的冷温热状态阈值对访问频率信息进行状态划分，确定所述待识别页面的目标访问状态，并根据所述目标访问状态更新所述状态数据文件的所述初始访问状态；

根据所述目标访问状态和预设的算法库确定所述待识别页面的目标压缩算法；

对所述页面压缩状态进行压缩状态判断，得到判断结果；

根据所述判断结果和所述目标压缩算法对所述待识别页面进行数据压缩。

在一些实施例中，所述目标访问状态包括热页面状态、温页面状态和冷页面状态，在所述根据所述目标访问状态和预设的算法库确定所述待识别页面的目标压缩算法之前，所述方法还包括：构建所述算法库，具体包括：

获取预设的第一算法、第二算法、第三算法；

将所述第一算法与所述热页面状态进行匹配处理，得到第一映射关系；

将所述第二算法与所述温页面状态进行匹配处理，得到第二映射关系；

将所述第三算法与所述冷页面状态进行匹配处理，得到第三映射关系；

根据所述第一映射关系、所述第二映射关系和所述第三映射关系构建所述算法库。