[发明专利]一种工业物联网实时数据库有损并发压缩方法及装置

说明书

本发明公开一种工业物联网实时数据库有损并发压缩方法及装置，通过连续采集约定次数的实时数据并计算斜率均值，通过对斜率进行排序，找到斜率限值率及其对应的斜率极限值；针对斜率限值率定义了一种调整策略，形成多种计算模式，采集新数据，依据所提出的调整策略判断是否存入新的数据；当新的数据采集约定次数后，利用现场实际数据来选择最优模式。随着工业自动化水平的提高，工业现场大量工业设备需要采集不同指标的数据，实时且异质数据的传输与存储给优化工业监测系统带来了新的挑战，因此需要高效的压缩算法对实时监测数据进行压缩。本发明提出的有损压缩算法可以较好用于现场实时数据的处理，而且可以满足还原精度的需求。

技术领域

本发明涉及数据压缩技术领域，具体涉及一种工业物联网实时数据库有损并发压缩方法及装置。

背景技术

工业物联网的实时数据库的数据压缩质量是衡量实时数据库的一个重要指标。工业检测领域的实时数据之所以可以被压缩，主要包括两个原因。首先，监测点采集的数据中间常存在一些多余成分，既冗余度，如在一份文件中，某些字符会重复出现、这些字符比其它字符出现频繁更高、某些字符总是在各数据块中可预见的位置上出现等，这些冗余部分便可在数据编码中除去或减少；其次，监测点采集的数据中间尤其是相邻的数据之间，常存在着时空相关性，如实时数据经常在一个运行的范围内上下波动，而这种变化在用户看来是没有区别的。因此，这些上下波动的数据可以不录入实时数据库中，但这种变换有时会带来不可恢复的损失和误差。

实时数据库数据压缩算法按照压缩精度，分为无损数据压缩和有损数据压缩。无损压缩是指保证能在一个压缩还原周期之后产生一个精确的输入数据流副本的压缩。典型的无损数据压缩算法包括Huffinan编码、算术编码、Lz系列算法及RLE算法等。有损数据压缩又称破坏型压缩,即将次要的信息数据压缩掉,牺牲一些质量来减少数据量,使压缩比提高。有损压缩通常用于数字化存储的模拟数据，并且主要应用于图形和语音文件，如工业监控系统等。目前实时数据库常用的有损数据压缩算法包括死区压缩和趋势压缩等，其中最热门的算法是旋转门数据压缩算法。虽然有损压缩算法大大提高了实时数据库的压缩比，但由于该类算法选择性地保留部分数据，抛弃部分数据，从而会导致系统精度下降。

经检索发现，公开号CN102393855B的中国专利于本发明公开了一种过程数据有损压缩比动态控制方法，提出了以压缩比＝1-压缩后的数据个数/压缩前的数据个数，为导向的动态控制方法。它假定压缩比和压缩偏差之间存在线性关系。在给定目标压缩比的条件下，它借助于先前一段数据压缩情况，在可调区间上动态的调整，不需要手动设置压缩偏差，提高了数据压缩的时效性。但是该专利在压缩数据前提出的压缩比并不是根据数据本身所提出的，对数据压缩的精度仍然存在欠缺。

发明内容

为克服上述现有技术的不足，本发明提供一种工业物联网实时数据库有损并发压缩方法及装置，可以对实时数据进行快速高效的有损压缩，大幅提高了压缩比和还原精度，实现了同时提高有损压缩的压缩率和精确度。

本发明是通过以下技术方案予以实现的：

一种工业物联网实时数据库有损并发压缩方法，包括，

基于预设的时间周期进行监测点p和监测点q的数据采集，并对采集到的两组数据分别进行数据预处理；

分别将第一次采集到的数据写入数据库并保存为“最后写入数据”，计算监测点p和监测点q的前n个数据的斜率均值；

分别对监测点p和监测点q的前n次数据的初始斜率进行排序，排序之后找到初始斜率限值率以及对应的初始斜率极限值；

对两个监测点的初始斜率限值率进行调整，根据调整策略，在不同的计算模式下监测点p和监测点q对应不同的斜率限值率和斜率极限值；

读入新的数据，计算新数据的斜率均值，并与根据调整策略得到的斜率极限值进行比较，若斜率均值小于斜率极限值则判断存入该数据；