[发明专利]一种面向科学计算的浮点型数据无损压缩方法

说明书

技术领域

本发明属于数据处理技术领域，具体涉及一种面向科学计算的浮点型数据无损压缩方法。

背景技术

随着社会的日益发展，由科学研究(天文学、生物学、海洋学)、社交网络(facebook、QQ、人人网)、自然环境监测(暴雨、洪水、地震)等产生的数以亿计的数据呈爆炸式增长，无论在工业界还是学术界，大规模数据处理都受到火热追捧。

数据的多样性和指数级增长给数据存储和传输带来了巨大压力，严重阻碍了高性能计算在科学领域的运用和发展。数据压缩一直是人们用于解决此类问题的热点技术，寻找高效的数据压缩技术可以有效降低数据存储量和传输成本。

数据压缩按解码后的数据是否完整恢复原数据，可分为有损压缩和无损压缩。有损压缩指的是解压缩时不能精确恢复原始数据，有一定的信息损失，该方法主要用于图像、视频、音频等少量信息遗失而不会影响原有数据效果的领域。无损压缩又称为熵编码、无失真编码，其工作原理是减少或去除数据中的冗余度，且原数据可被精确恢复。

对大部分科学数据而言，任何一个微小误差都将可能引发一场灾难，所以必须采用无损压缩技术，以保证数据恢复时的完整性；同时，数据压缩速度必须十分迅速，以适应科学数据规模大、密集度高、更新快等特点。

发明内容

本发明的目的是提供一种面向科学计算的浮点型数据无损压缩方法，解决了浮点型数据压缩率低、压缩缓慢的问题。

本发明所采用的技术方案是，一种面向科学计算的浮点型数据无损压缩方法，具体按照以下步骤实施：

步骤1、对浮点型数据的符号域、指数域和尾数域分别映射、分别压缩，并对压缩后的数据以二进制位为单位进行存储；

步骤2、获得尾数域差值的有效数据、指数域差值和符号域，并根据IEEE754格式和参考数据，完整恢复出原始数据，

其中，参考数据是前一个被压缩数据。

本发明的特点还在于：

步骤1具体为：

步骤1.1、内存拷贝参考数据和被压缩数据，将其分别转换为4个字节的整数；

步骤1.2、根据IEEE754格式，提取出参考数据和被压缩数据的符号域、指数域和尾数域；

步骤1.3、保持被压缩数据的符号域值不变；

步骤1.4、采用减法运算得出被压缩数据与参考数据的指数域差值，当指数域差值的值较小时，标记相应的标志位；当指数域差值的值较大时，单独存储被压缩数据的指数域，并标记相应的标志位；

步骤1.5、采用减法运算得出被压缩数据与参考数据的尾数域差值，删除尾数域差值头部的连续冗余0，存储有效数据，同时标记有效数据的个数；

步骤1.6、采用位位相接的方式封装所有数据尾数域差值的有效数据位，并封装被压缩数据的符号域、指数域及各种标志位，即实现了数据的完全无损压缩。

步骤1.4中指数域差值的值较小为被压缩数据与参考数据的指数域差值为0，1，-1，对应的标记位为0，1，2；指数域差值的值较大为被压缩数据与参考数据的指数域差值为其他，对应的标记位为3。

步骤2具体为：

步骤2.1、根据尾数部分的标志位值确定尾数域差值的有效数据位数，并按位从尾数域的压缩数据中取出该差值；然后由IEEE754格式可知该差值头部所需的冗余0位数，并对其进行填充；最后根据参考数据的尾数值恢复出被压缩数据的尾数域；

步骤2.2、根据指数部分的标志位值，如果获得的是指数域差值，根据参考数据的指数域恢复出被压缩数据的指数域，转到步骤2.3；如果获得的是被压缩数据的指数域，直接转到步骤2.3；

步骤2.3、从压缩数据中取出被压缩数据的符号域；

步骤2.4、按照IEEE754格式，组合符号域、指数域和尾数域变成4个字节的整数，并内存映射该整数使其还原成被压缩的浮点型数据。

本发明的有益效果是：本发明一种面向科学计算的浮点型数据无损压缩方法，所采用的尾数整型法(Think Mantissa as Integer，TMI)根据浮点型数据各部分的物理含义及结构特点，对数据各部分分别映射、分别压缩，打破了传统的浮点型数据压缩方法中，强行将其按字节划分，既破坏了浮点型数据的物理含义，又使压缩率低下；再者，本发明无损压缩方法没有过多的数据预测或变换算法，从而有利于加快数据压缩速度；最后，由于任何数据在计算机中都以二进制形式表示，所以该方法的思想可推广到其它数据类型的压缩。

附图说明

图1是本发明无损压缩方法中数据压缩的实施例流程图；