[发明专利]一种无损数据压缩的数据保护方法和装置

说明书

本发明公开了一种无损数据压缩的数据保护方法和装置，其方法主要包括：将获取的原始数据经过数据压缩形成压缩数据并输出，再将压缩数据经过解压缩得到解压数据，用校验模块对原始数据和解压数据进行对比分析，最后输出数据是否完整的结果，其中还包括在该过程中对原始数据进行数据分块、在数据压缩后检测原始数据能否被压缩等步骤。其对应的装置包括原始数据获取模块、数据压缩模块、数据解压模块和数据校验模块，还可以增加数据切块模块和数据长度检测模块。本方案的无损数据压缩的数据保护方法和装置，提高了数据压缩和完整性保护的工作效率，也避免了因增加额外数据存储空间而造成的成本增加的问题。

技术领域

本发明涉及数据压缩和解压缩技术以及数据完整性校验技术领域，具体为一种无损数据压缩的数据保护方法和装置。

背景技术

随着各行各业大数据、云计算业务的蓬勃发展，数据中心已经发展成为现实规模巨大、未来前景广阔的核心支柱产业。然而全世界数据量按照“数据摩尔定律”日益快速膨胀，数据中心设备成本以及电力成本等相关运营成本随之持续快速增长。数据中心不仅基建、设备投资巨大，电力成本也非常惊人。无损数据压缩技术可在不丢失任何数据信息的同时大幅压缩存储空间需求，从而大幅节约服务器、磁盘阵列等设备成本以及数据中心空间、用电等运维成本。由于已知的或者未知的软件或硬件缺陷(bug)，无损压缩后的数据存在无法解压缩的可能性，会引起用户数据的丢失，这在高可靠性要求的数据中心中是不能接受的。因此，需要一种无损数据压缩的数据保护方法和装置，以确保数据的完整性。

现有技术如公开号为CN201611006972的发明公开了一种压缩方法及相关装置，其方法包括：获取原始数据；对原始数据进行压缩，得到压缩结果；对压缩结果进行解压缩，得到解压缩结果；校验解压缩结果与原始数据是否一致；若一致，输出压缩结果；若不一致，输出原始数据。该发明提供的方案，在压缩原始数据之后和存储之前，会对压缩结果进行解压缩，并校验解压缩结果与原始数据，若两者一致则输出压缩结果，即对压缩结果进行存储。否则抛弃压缩结果而输出原始数据，对原始数据进行存储，避免了解压缩后得到的数据可能和原始数据存在不一致的现象的发生。但该技术在对数据压缩和校验时存在以下问题：1、针对所有原始数据，在未考虑数据是否适合压缩的情况下直接进行压缩操作，存在一定盲目性，不利于数据的完整性保护，也会降低数据压缩的工作效率；2、在校验解压缩数据与原始数据结果不一致时输出原始数据并进行保存，而非直接输出一个校验结果，不仅降低了数据压缩的工作效率，而且需要增加额外存储空间进行原始数据的存储，造成了成本增加的问题。

发明内容

本发明的目的在于提供一种无损数据压缩的数据保护方法和装置，以解决上述背景技术中提出的现有数据压缩和完整性保护技术中存在的数据压缩工作效率低，且成本较高的问题。

为实现上述目的，本发明提供如下技术方案：

一种无损数据压缩的数据保护方法，该方法包括以下步骤：

S1、获取原始数据；

S2、原始数据经过数据压缩模块进行压缩形成压缩数据，并输出压缩数据；

S3、压缩数据经过数据解压缩模块解压缩得到解压数据；

S4、在一个或多个数据校验模块内对原始数据和解压数据进行对比分析是否一致；以及

S5、若原始数据和解压数据一致则输出数据完整性保护标志；否则任何不一致输出数据是不完整的警告。

优选的，还包括对S1的原始数据按照特定的长度进行切块，形成原始数据块，S2中原始数据即为原始数据块。

优选的，还包括对S2的输出的压缩数据的数据长度进行检测，判断压缩数据的数据长度是否比原始数据的数据长度小，若是输出数据可压缩标志，否则输出原始数据不可压缩标志。