[发明专利]一种高维时序数据压缩存储方法

说明书

本发明涉及一种高维时序数据压缩存储方法，属于计算机软件设计与实现技术领域。本发明根据时序数据的维数和每维数据压缩后的数据点数，对输入的时序数据进行线性扫描。在扫描的过程中，采用区间合并的方法对每一分量数据点进行合并。将合并后的所有分量区间的开始时间和结束时间标签提取出来，进行全局排序，并根据排序后的时间标签重新生成时序数据。最后将生成的时序数据存入关系数据库中。本发明可应用于各类工业控制系统时序数据的压缩存储，适用于数据流量大、采样种类多的情况，可较好地保留原数据的特征，实时性好，压缩比高，实用性强，压缩后的结果可以在关系数据库中存储。

技术领域

本发明属于计算机软件设计与实现技术领域，具体涉及一种高维时序数据压缩存储方法。

背景技术

为了实现状态监测、故障预警和诊断，车辆传动装置内部安装了大量传感器。在传动装置车载试验过程中，这些传感器采集的数据将持续不断的发送到上位机电脑中。以车辆转向加速试验为例，采集到的数据包括档位及方向、发动机转速、发动机回水温度、风扇转速等多达40个参数变量。以每秒10次的采样速率计算，装置持续运转一个小时会收集到72000条数据记录。在装置长时间运转过程中，会生成总量巨大的数据，如果简单的将所有的数据都保存下来，将占用大量的物理存储空间，且难以检索和使用。

实际观察采样数据会发现，大量的试验数据中存在较多的冗余数据，这是因为设备在运转过程中，某一部件的局部状态经常处于一个稳定状态。例如在高频采样的数据中，“档位及方向”在一段时间内会出现大量的重复数据。从业务角度考虑，工程人员很难从高维海量的时序数据中观察到有用的信息，业务人员更多希望看到数据所展现出来的趋势，以及系统运行过程中是否存在异常数据。采集的数据在较小范围内的变化往往不是用户关心的，用户经常关注的是某些变化剧烈的数据点。因此实际应用中，采集的数据保存时允许有一定的误差。另外，目前众多的应用系统基于关系数据库构建，考虑到使用习惯、迁移成本等问题，目前还无法在短期内实现从关系数据库到海量存储系统的改造工作。因此，如何基于关系数据库实现海量高维时序数据的压缩存储是目前急需解决的问题之一。

目前虽然存在多种压缩方法，例如旋转门压缩法、稳态阈值法、线性外插法等，但是大多数都是一维数据的有损压缩方法，不能直接对二维、三维或者更多维数据进行压缩；其次，压缩算法复杂性高，大批量数据的处理需要较长的时间和计算资源；更为重要的一点，压缩后的数据无法直接在关系数据库中存储和查询，不利于后续业务应用的构建。

发明内容

(一)要解决的技术问题

本发明要解决的技术问题是：如何解决现有压缩方法无法高效对高维数据进行压缩及在已有关系数据库中存储的问题。

(二)技术方案

为了解决上述技术问题，本发明提供了一种高维时序数据压缩存储方法，包括以下步骤：

步骤1：设置D维时序数据每一分量D_i的压缩点数CP(D_i)，并将压缩梯度Grad(D_i)设置为CP(D_i)×2^k(k＝1,2,3,...)；

步骤2：将D_i的最大值Max(D_i)和最小值Min(D_i)分别设置为第一个数据点的值；