[发明专利]工业时序数据的近似查询处理方法、系统、介质及设备

说明书

本发明涉及一种工业时序数据的近似查询处理方法、系统、介质及设备，其包括：将时序数据进行初次压缩，得到满足初始压缩精度的压缩数据；计算所述压缩数据的标准差，根据所述标准差得到压缩精度浮动；根据所述压缩精度浮动调整压缩精度，利用调整好的所述压缩精度重新进行数据压缩，直到压缩精度浮动满足预先设定条件，输出压缩后的数据；将所述压缩后的数据进行近似查询，若查询的压缩点位处于压缩点损失区间内，则对损失点位的数值进行近似估计后再进行近似查询；反之，则直接对压缩后剩余的点位进行存在性查询，得到精确的点位数值。本发明能够在海量的工业时序数据的持续产出的情况下，高效压缩时序数据并且保留数据趋势进行存储的情况。

技术领域

本发明涉及一种数据查询技术领域，特别是关于一种工业时序数据的近似查询处理方法、系统、介质及设备。

背景技术

随着计算机科学技术的发展，伴随着各行各业的信息化，各种各样的数据也不断地从GB到TB再到PB级进行扩大，很多数据增长的部分原因是由于这些数据从越来越多的设备中源源不断地进行采集完成。在此之中工业大数据的数据量增长的速度十分恐怖，因为工业领域当中数据的来源十分广泛比如PLM(product lifecycle emanagement)系统、ERP(enterprise resource planning)系统，SCM(supplychain management)系统、MES(manufacturing execution system)系统等等。其中产生得数据符合大数据的4V特征，即大规模(volume)、速度快(velocity)、类型杂(variety)、低质量(veracity)。并且相比于其他数据工业大数据还有多模态、强关联、高通量的特征，那么工业大数据领域这么多的数据源和特征必须要有高效的办法处理这些数据。因为在这些数据当中存在许多冗余数据，所以想要利用这些数据进行相应的数据挖掘、关联分析预测、异常检测、辅助决策等就比较困难。以往的压缩处理大量的工业时序数据的方法，分有损压缩和无损压缩。

无损压缩技术是可以使数据完全还原的技术，而且压缩与解压时一个可逆的过程。无损压缩技术是通用于各个领域的基础算法，事实上，任何无损压缩技术的算法在实际应用中都无法真正地将数据压缩到理论上的熵值极限。由于压缩后的数据量不可能是低于熵值的数值的，所以，在无损压缩的技术开发和利用方面，无损压缩技术总是处在一个追求压缩性能理想极限的一个过程，而且在特定的应用领域中，单纯地使用无损压缩技术的压缩比总是只可以维持在一个可以接收的水平上。

有损压缩技术则是在压缩过程中去除一定的冗余数据，而这些冗余数据一般都具有数量多，价值密度低的特征，这些冗余数据的压缩过程就是以损失一定的信息以获得较高的压缩比，压缩过程不可逆，数据不能完全恢复到原始数据，因此要求损失的数据对于理解原始数据信息的影响和走势的影响不能过大，而且许多的有损压缩技术是根据很多特定的应用领域发展起来的，如应用于图像、视频以及声音等许多多媒体领域的压缩技术，而且有损压缩技术可以根据先验知识提升相关有损压缩算法的压缩效果，有损压缩方法一般分为分段线性方法、矢量量化方法以及信号变换法而这些方法在实际的工业场景对于大量的工业时序数据进行处理时表现得并不是特别良好。

发明内容

针对上述海量的工业时序数据的压缩存放问题，本发明的目的是提供一种工业时序数据的近似查询处理方法、系统、介质及设备，能够在海量的工业时序数据的持续产出的情况下，高效压缩时序数据并且保留数据趋势进行存储的情况。

为实现上述目的，本发明采取以下技术方案：一种工业时序数据的近似查询处理方法，其包括：将时序数据进行初次压缩，得到满足初始压缩精度的压缩数据；计算所述压缩数据的标准差，根据所述标准差得到压缩精度浮动；根据所述压缩精度浮动调整压缩精度，利用调整好的所述压缩精度重新进行数据压缩，直到压缩精度浮动满足预先设定条件，输出压缩后的数据；将所述压缩后的数据进行近似查询，若查询的压缩点位处于压缩点损失区间内，则对损失点位的数值进行近似估计后再进行近似查询；反之，则直接对压缩后剩余的点位进行存在性查询，得到精确的点位数值。