[发明专利]一种面向科学计算的浮点型数据并行无损压缩方法

说明书

技术领域

本发明属于数据并行处理技术领域，具体涉及一种面向科学计算的浮点型数据并行无损压缩方法。

背景技术

随着数据时代的到来，各行各业所产生的数据呈指数级增长，大规模数据的产生不仅对硬件设备带来巨大挑战，而且对网络带宽产生巨大压力，如此庞大的数据严重阻碍了科学计算的运用和发展。数据压缩一直是用于降低数据规模行之有效的方法，并且在科学计算领域，任何一个微小误差都将可能产生不可预料的后果，所以无损性是数据压缩的必要条件。

传统的数据压缩方法往往耗时巨大，而科学数据的更新速度却十分迅速，因此对传统数据压缩方法的更新换代迫在眉睫；同时受国外高昂软件费用license的限制，我国在高性能硬件设备和应用低效率之间的矛盾日益突出，提高处理器利用率可以有效缓解此种矛盾。

就目前计算机硬件设备而言，其性能上已经有很大提高，如一般计算机都已是4核处理器，而GPU拥有成千上万的算术逻辑单元专用于数据计算，这为并行技术提供了硬件基础。采用并行数据压缩方法不仅可以加快数据处理流程，而且可以提高处理器利用率。

发明内容

本发明的目的是提供一种面向科学计算的浮点型数据并行无损压缩方法，解决了现有技术中存在的高性能硬件设备和应用低效率之间的矛盾的问题。

本发明所采用的技术方案是，一种面向科学计算的浮点型数据并行无损压缩方法，将TMI方法由CPU转移到GPU，并采用棋盘分割的方式得以充分利用GPU提供的众核技术，加快数据处理流程。

本发明的特点还在于：

CPU内部的具体工作步骤为：

步骤1.1、初始化GPU，获得GPU的各种参数，并创建命令队列；

步骤1.2、创建GPU的Kernel压缩程序和Kernel解压缩程序的执行命令；

步骤1.3、申请保存压缩完成后的有效数据位和标志位数据的GPU内存空间；

步骤1.4、转换待压缩数据使其变成可被GPU识别的维度和格式；

步骤1.5、将步骤1.4转换后的数据由CPU发送到GPU；

步骤1.6、根据命令队列控制GPU端Kernel压缩程序的运行；

步骤1.7、根据命令队列控制GPU端Kernel解压缩程序的运行。

步骤1.1具体为：首先获取支持GPU的平台信息；然后获取GPU的设备信息；最后根据平台信息和GPU的设备信息创建上下文和命令队列；

其中，GPU的设备信息包括GPU的型号，GPU能运行的最大线程数，GPU的内存大小，GPU所支持的全局内存大小和局部内存大小。

GPU内部的具体工作步骤为：

步骤2.1、接收CPU发送的数据；

步骤2.2、获取步骤2.1中接收到的数据的工作组编号，根据该编号确定数据压缩和解压缩时的线程编号；

步骤2.3、根据步骤2.2得到的线程编号和工作组编号确定哪部分数据由哪个线程处理压缩和解压缩；

步骤2.4、采用TMI压缩方法进行数据压缩，并将压缩后的数据按位存储；

步骤2.5、采用TMI解压缩方法进行数据解压缩。

步骤2.2中工作组编号的获取具体为：将所有数据的维度视作全局工作空间，每个数据的位置编号视作相应维度上的全局编号；对全局工作空间分块，将每块视作工作组空间，块的位置编号视作相应维度上的工作组编号；工作组空间内的数据的位置相对工作组空间的位置视作局部位置。

步骤2.4的具体步骤为：

步骤2.4.1、内存拷贝参考数据和被压缩数据，将其分别转换为4个字节的整数，

其中，参考数据是前一个被压缩数据；

步骤2.4.2、根据IEEE754格式，提取出参考数据和被压缩数据的符号域、指数域和尾数域；

步骤2.4.3、保持被压缩数据的符号域值不变；

步骤2.4.4、采用减法运算得出被压缩数据与参考数据的指数域差值，当指数域差值的值较小时，标记相应的标志位；当指数域差值的值较大时，单独存储被压缩数据的指数域，并标记相应的标志位；

步骤2.4.5、采用减法运算得出被压缩数据与参考数据的尾数域差值，删除尾数域差值头部的连续冗余0，存储有效数据，同时标记有效数据的个数；

步骤2.4.6、采用位位相接的方式封装所有数据尾数域差值的有效数据位，并封装被压缩数据的符号域、指数域及各种标志位，即实现了数据的完全无损压缩。

步骤2.5具体步骤为：