[发明专利]一种数据压缩方法、设备和计算机可读存储介质

说明书

本发明提出了一种数据压缩方法、设备和计算机可读存储介质，该方法包括：接收待训练的数据流，并获取预设的最小压缩速率；分别采用不同的压缩算法对所述待训练的数据流进行压缩，并分别计算出每种压缩算法的压缩速率和压缩率；将压缩速率大于所述预设的最小压缩速率且压缩率最大的压缩算法设置为所述待训练的数据流的最优压缩算法。本发明主要综合压缩速率和压缩率两个指标，智能化选取数据流的最优压缩算法，在满足系统设置的压缩速率要求的前提下，选取压缩率最高的压缩算法为最优压缩算法，从而降低了压缩算法的选取难度。

技术领域

本发明涉及数据存储和管理技术领域，尤其涉及一种数据压缩方法、设备和计算机可读存储介质。

背景技术

随着信息化的发展和大数据时代的来临，数据量呈爆炸式增长，为了支撑海量数据环境下数据的统计分析应用，现有技术多采用列式结构进行数据的存储。同时，为了减少数据的存储量，提高数据的存储效率，通常先将数据进行压缩后再进行存储，从而降低存储的数据量。但是，在采用列式结构进行数据的存储中，由于不同列的数据类型不同，同一压缩算法对于不同列的压缩率也可能会产生较大差异，从而采用同一种压缩算法不能最大化系统的压缩率。

发明内容

本发明要解决的技术问题是，提供一种数据压缩方法、设备和计算机可读存储介质，可以智能化选取数据流的最优压缩算法，降低了压缩算法的选取难度。

本发明采用的技术方案是，所述数据压缩方法，包括：

接收待训练的数据流，并获取预设的最小压缩速率；

分别采用不同的压缩算法对所述待训练的数据流进行压缩，并分别计算出每种压缩算法的压缩速率和压缩率；

将压缩速率大于所述预设的最小压缩速率且压缩率最大的压缩算法设置为所述待训练的数据流的最优压缩算法。

可选的，在得到所述待训练的数据流的最优压缩算法之后，所述方法还包括：

获取所述待训练的数据流的类型标识；

将所述类型标识、所述最优压缩算法、所述最优压缩算法的压缩率、以及所述预设的最小压缩速率存储到预设的压缩知识库中；

建立所述类型标识、所述最优压缩算法、所述最优压缩算法的压缩率、以及所述预设的最小压缩速率之间的关联关系。

可选的，在得到所述待训练的数据流的最优压缩算法之后，所述方法还包括：

接收待压缩的数据流，并获取所述待压缩的数据流的类型标识；

根据所述类型标识从所述预设的压缩知识库中查找相应的最优压缩算法；

利用查找到的最优压缩算法对所述待压缩的数据流进行压缩。

可选的，在所述利用查找到的最优压缩算法对所述待压缩的数据流进行压缩之后，所述方法还包括：

计算利用查找到的最优压缩算法对所述待压缩的数据流进行压缩时的压缩速率和压缩率；

判断计算出的压缩速率是否小于所述预设的最小压缩速率，或者所述最优压缩算法的压缩率与计算出的压缩率的差值是否大于预设阈值；

若是，则重新设置与所述待压缩的数据流的类型标识相对应的最优压缩算法。

可选的，所述重新设置与所述待压缩的数据流的类型标识相对应的最优压缩算法，包括：

根据当前接收到的待压缩的数据流，重新设置与所述待压缩的数据流的类型标识相对应的最优压缩算法；或者，

根据下次接收到的所述类型标识的待压缩的数据流，重新设置与所述类型标识相对应的最优压缩算法。

本发明还提供一种数据压缩设备，包括：处理器、存储器及通信总线；