[发明专利]一种基于数值排序线性拟合的历史数据压缩方法

说明书

技术领域

本发明涉及一种基于数值排序线性拟合的历史数据压缩方法，特别适用于处理采集 自工业现场的大容量实时数据。

背景技术

对于工业现场环境产生的数据，往往具有数量巨大，采集频度高，持续时间长等特 点。对这些大批量采样点数据的处理，特别是如何对采样点的实时数据进行即时存储并 且如何对这些存储的历史数据进行快速高效的访问和分析，就成为实现实时数据库技术 中的重点和难点。

对于这些大量的存储数据，如果只是简单的把所有的原始数据直接存储下来，一方 面大量的数据需要在很短时间内存储对硬件存储介质的性能要求非常高，另一方面数据 的保存需要占用大量的存储资源，而且也使得之后历史数据检索的效率大大降低。所以 对于实时数据库系统来说，历史数据的压缩技术就成为其最重要的核心技术之一。

一般的数据无损压缩技术可以存储所有原始数据的细节，但在数据存储和后续的历 史数据检索过程中，需要额外占用大量的处理器时间来进行数据块的压缩和解压缩处 理，则使得系统的整体效率更为降低。对于实时数据库来说，不仅需要在有限的物理存 储空间中存储大量的历史数据，同时还需要考虑数据能够被快速的存储和访问。这样， 一般的无损压缩方法则不能适用于实时数据库系统。

实时数据库在实际的工业现场运用中，那些长时间比较稳定，仅在微小的数据区间 范围内变化的数据通常用户可能并不非常关心，一般情况下用户更加关心的是数据的异 常振动、异常跳跃、超限等情况。这样，实时数据库的数据压缩方法就可以采用有损压 缩方式，通过各种数值拟合方法，丢弃那些在一定的误差精度范围内的数据。在数据检 索时，能够通过重构方法来重新还原出所有的历史数据。

现在比较流行的有损压缩算法包括矩形波串-后向斜率法、旋转门压缩算法和PLOT 算法等等。其中使用得比较多的是旋转门压缩算法，又称平行四边形法，总体来说， 它是一种直线趋势化压缩算法，其实质是通过一条由起点和终点确定的直线拟合一系列 连续的数据点。对于给定的数据，在预先规定的最大允许误差范围(门限或阀值)内， 通过该算法能够找出尽可能最长的直线趋势，最后通过两个点即可确定该趋势，中间部 分的点全部丢弃，从而达到数据压缩的目的。旋转门压缩算法在处理大多数实时数据通 道时都是比较高效的，特别是对于稳态环境(且无干扰)可以达到非常高的压缩比。但 旋转门压缩算法的缺点也是非常明显的，主要就是噪点、野点、噪声干扰(传感器测试 误差)对算法影响较大，压缩处理效果很不理想；而对于那些短时非线性趋势数据(振 动数据，非稳态数据)，则基本上达不到压缩的目的。

发明内容

本发明要解决的问题是：对于工业现场环境产生的数据，需要进行即时存储并且对 存储的历史数据进行快速高效的访问和分析，要在有限的物理存储空间中存储大量的历 史数据，同时还需要考虑数据能够被快速的存储和访问，现有的数据压缩方法不能满足 这些要求，易受噪点、野点、噪声干扰，压缩效果不够理想。

本发明的技术方案为：一种基于数值排序线性拟合的历史数据压缩方法，包括以下 步骤：

1)对获取的历史数据按值的大小排序：从历史数据缓冲队列获取历史数据，进行 排序处理，把历史数据按照值的大小从小到大进行排序；

2)值域线性拟合：对于排好顺序的历史数据，以其位序为横坐标，值为纵坐标建 立值域，按照排序顺序对历史数据依序进行线性拟合处理，线性拟合处理最终获得两个 点，这两个点连接的直线为拟合直线，通过拟合直线来拟合排序在这两个点之间的所有 点，从而达到数据压缩的目的；线性拟合处理中，点到已获得的拟合直线的偏差必须在 设定的压缩精度范围内，如所处理的点到拟合直线的偏差在设定的压缩精度范围外，则 以这一点为起点开始新的线性拟合处理；

3)按域存储：对线性拟合处理的数据进行域分隔，产生标识域、时间域和数据值 域三部分，标识出某时间点的值是否被压缩，为拟合还原提供依据；

4)数据处理完成判断：检查获取的历史数据是否都已完成压缩过程，如果完成则 获取新的历史数据，执行步骤1)开始下一轮压缩，没有完成则回到步骤2)。

优选的，历史数据排序前进行预处理：

11)获取当前历史缓冲队列中存储的缓冲数据量；