[发明专利]一种用于工业实时数据库的数据压缩方法

说明书

本发明涉及一种用于工业实时数据库的数据压缩方法，包括：获取待压缩数据序列并初始化周期阈值及调节周期参数；判断当前时间点是否为待压缩数据序列的第一个时间点，若当前时间点为第一个时间点，则保存对应数据值，之后更新当前时间点；否则基于双旋转门算法，判断当前时间点对应的数据值是否在待压缩数据序列的上下限值范围内，若为是，则直接更新当前时间点；否则保存当前时间点对应的数据值，之后再更新当前时间点；更新当前时间点之后判断是否出现新数据，若为是，则返回继续压缩过程；否则结束数据压缩过程。与现有技术相比，本发明通过设计一种双旋转门算法，能够充分考虑后续数据点的变化，进一步提高数据压缩率和压缩精度。

技术领域

本发明涉及数据压缩技术领域，尤其是涉及一种用于工业实时数据库的数据压缩方法。

背景技术

在工业生产过程中，采集的数据点通常有几千到十几万，数据采集间隔达到秒级，导致数据量很大，采集的这些数据信息对于及时了解生产现场的实时情况、实现上层信息系统与底层控制系统的集成都具有重要意义。

传统关系型数据库，在管理生产过程数据时存在占用空间大、存取速度慢等不足。为了能够在海量信息中保留有用的数据，目前主要借助实时数据库实现这一目的，实时数据库RTDB(Real—TimeDataBase)是数据库与实时系统相结合的一种新型数据库，RTDB系统与普通商用数据库系统不同，其一个重要特性就是实时性，包括数据实时性和事务实时性。比如在电厂厂级实时监控系统中，RTDB起到了“承上启下”的核心作用，而数据压缩又是RTDB的关键技术之一，当前实时数据库系统用到的压缩算法分为三类：有损压缩、无损压缩以及结合有损和无损压缩的二级压缩。

无损压缩以eDNA实时数据库为代表，采用霍夫曼压缩算法，PC机上常用的压缩软件，如WinRAR，也是采用的无损压缩算法；

有损压缩在一定的误差要求范围内仅保存少量点，其他时刻的值可通过线性插值算法快速还原，比如死区压缩算法和PI的旋转门算法。

死区压缩算法的原理是：对于时间序列的变量数据，规定好变量的变化限值(即死区，或称为阈值)，若当前数据与上一个保存的数据的偏差超过了规定的死区，那么就保存当前数据，否则丢弃，如图1所示。这种算法对来自时间序列的连续数据，仅需与前一个保存的数据进行比较即可确定本数据是否需要保存，因此易于理解和实现，大部分采用有损压缩的实时数据库都提供了这种压缩方式。死区算法可以较好的过滤掉噪音，适用于数值稳定的测点，但对于线性漂移(即沿斜线变化)的数据(如图2所示)，则不能很好的进行压缩，此时若采用死区压缩算法，那么A、B、C、D都需要保存，实际上仅保存A和D即可，B和C通过线性插值就可以还原，这种情况下，就需要采用一些斜率变化的压缩方式，对沿斜线进行变化的数据进行压缩。

PI实时数据库的旋转门压缩算法，是针对慢变化过程数据的压缩算法，实现简单，涉及的乘除法较少，压缩效率较高，其实现原理如图3所示。A点为要保存的点，通过A点和后续点画平行四边形，其竖直方向的边长A1A2为2倍的压缩精度，也就是图上的旋转门范围。当平行四边形能够包围A点与当前点之间的所有点时，继续画平行四边形，如图中的平行四边形3包围了B点和C点；当平行四边形不能包围所有点时，如图中的A点和E点画出的平行四边形4，那么其前一个点，即D点需要进行保存，然后从D点开始继续画平行四边形。PI的旋转门算法具体实现时，仅需要计算Al与后续点的最大斜率、A2与后续点的最小斜率以及A点与当前点的斜率，若A点与当前点的斜率超出了最大和最小斜率范围，那么当前点的前一个点就需要保存。因此，这个算法计算量少，中间需保存的变量也少，测点值解压缩还原后的最大误差为压缩精度，也即旋转门范围的一半。

但是在实际应用中，当实时数据库数据过多且用户规定了压缩精度时，PI的旋转门算法并不能保证足够的压缩率、也不能实现更好的压缩精度，这会导致数据的冗余和存储的空间增加，也使得后续数据解压恢复时难以保证准确性。

发明内容