[发明专利]一种高压缩比的工业实时数据压缩方法

说明书

技术领域

本发明属于数据压缩技术领域，更为具体地讲，涉及一种高压缩比的工业实时数据压缩方法。

背景技术

1、数据压缩概述

数据压缩技术在图像，音频处理等领域已有非常广泛的应用，技术日趋先进成熟并已形成了国际化标准，如图像处理领域的JEPG压缩技术，音频处理中的MP3压缩技术等。但是由于现代存储设备容量的不断增大，在工业自动化领域则应用的较少，在电力系统、故障检测与诊断系统、过程控制、过程监测、多通道数据采集系统等会产生海量实时和历史数据的自动化系统中，数据压缩还没有得到广泛的重视和应用。在多通道自动测试系统中数据一般由数据采集模块采集得到，采集的信号一般为传感器信号，目前的数据采集模块采样频率都较高，例如总采样速率为100KHz，则如果系统为16个通道，单个通道每秒可采集62次，现行更高的从几十MHz到几十GHz不等的采集模块比这个次数还要高的多，这样每秒就可产生大量高精度的浮点数据，面对海量的存储数据，人们解决的办法只是单纯的增加存储设备，而很少应用数据压缩技术对其中大量的冗余数据进行压缩，以达到减少数据量，节约存储设备的目的。

2.现有工业实时数据压缩方法

数据压缩根据不同编码对原始文件数据产生的不同损失效果，可把数据压缩技术分为无损压缩和有损压缩。无损压缩一般以通用压缩理论为基础，采取哈佛曼算法等经典的压缩算法，具有无失真、无差错或无噪声编码的性质。有损压缩是在压缩过程中损失一定的信息以获得较高的压缩比。有损压缩虽然不能完全恢复原始数据，但损失的数据对理解原始数据的信息影响不大，并由此获得较大的压缩比，从而节约大量存储空间。

目前比较有效并且应用较多的工业实时数据压缩方法主要有稳态阈值法，即死区算法，旋转门算法，线性外插算法，这三种方法均属于有损压缩。

2.1稳态阈值法

稳态阈值法的原理是以一般能容忍的失真范围为限定，通过判断当前数据值与下一个数据值是否大于压缩限值来决定是否舍弃或记录该数据，限值设置越大，数据压缩率越高，但失真度也越大。如图1所示，如果压缩限值设置为0.5，当前数据值是10.0，则下一个数据值如果在10.5以上或9.5以下都将被记录，并以记录的数据点为起点，设该点的值为y，0.5为判别门限，判断下一个数据值是否在y±0.5之间，如果在，则舍弃该数据点，如果不在，则记录该数据点，再以记录的数据点为起点，进行判断，对数据进行压缩。如图1中，打圈的数据点被记录下来。

2.2旋转门算法

旋转门算法是一种线性趋势化压缩算法，将线性趋势化的斜率变化情况作为重点考虑的因素，强调寻找改变斜率的线性“触发点”，主要有平行四边形和三角形两种处理方式。算法的主要思想是利用当前数据点与前一个存储点缩构成的压缩限值覆盖区来判断数据是否应当保留。如果两点构成的压缩覆盖区能覆盖两点之间所有数据点，则舍弃当前数据点，反之如果有数据点落在覆盖区以外，就保存当前点的前一个数据点，并以该点为新的起点与后读入的点构成新的覆盖区继续判断压缩的取舍点。具体压缩判断流程介绍如下：

设旋转门的压缩限值设为0.1，数据存储时间间隔为1s。从读入的第一个数据点开始，以它到当前数据点之间的连线为中轴，过这两点做一个宽度为2倍压缩限值的平行四边形，判断平行四边形覆盖的区域是否能覆盖所有从上个存储点到当前点之间的所有数据点，随着数据点的读入，以同样的方法作新的平行四边形，如图2所示。

当产生的平行四边形不能容纳上个存储点到当前点之间的所有数据点时，即有数据点落在当前平行四边形覆盖面积之外时，则对当前点通过本段压缩，将一个数据点保存，其他点舍弃。如图2中，第10秒时有数据点落在了平行四边形覆盖范围之外，所以将起点和前一点，即第9秒的数据点保存，其余数据舍弃。以新保存的数据点为起点继续重复上述过程，判断后续数据点是否满足判别要求。

2.3线性外插算法

线性外插算法也是一种利用线性化思想进行压缩处理的方法，其主要处理方式是读入两个数据点，用这两点作出一条直线，直线方程为y＝ax+b，设后续点的横坐标值为x_i，把横坐标的值带入直线方程，算出该点的对应的函数值y_i是实际读入点的数据值，δ是门限值，判断后续点是否满足y′-δ＜y＜y′+δ，若满足则舍弃该数据点，不满足则记录该数据点及该数据点的前一点的值。并以不满足门限值的数据点为下次判断直线的起点，与后续的一个数据点作出直线进行判断，算法的主要思路如图3所示。