[发明专利]一种工业物联网实时数据库单点有损压缩方法及装置

说明书

本发明公开了一种工业物联网实时数据库单点有损压缩方法及装置。其中，方法包括：首先读入约定次数的连续实时数据，并根据对应实时采集数据及误差允许范围，计算初始斜率上下限以及斜率限值率；读入新的数据，结合斜率限值率区间，计算新的斜率上下限；根据新数据的斜率上下限与当前斜率上下限进行比较，并决定是否保存新数据。本发明针对工业物联网实时系统在短时间内产生大量数据，数据冗余多，且对实时性的要求很高，以及目前无损压缩算法压缩比与还原精度仍有提升空间等问题，通过动态修正与预测，对实时数据进行快速高效的有损压缩，在提高压缩比的同时能满足系统对还原精度的要求，可适用于工业物联网中对实时数据库的存储需求。

技术领域

本发明涉及的是一种实时数据库领域的方法，具体涉及一种通过动态预测、修正与检验对工业物联网实时数据库数据进行有损压缩的方法及装置。

背景技术

随着工业物联网的快速发展，其需要处理和存储的数据量急剧上升，这些数据对于生产情况的分析、设备性能的监控等都有十分重要的意义，将这些数据记录到数据库中，由此产生了实时数据库。针对实时系统在短时间内产生大量数据，数据冗余多，且对实时性的要求很高等问题，非常有必要将数据压缩技术引入实时数据库系统中，而寻找高压缩比和高压缩与解压速度的压缩算法则是其关键所在。

目前，实时数据库压缩技术主要可分为有损压缩和无损压缩两种。有损压缩是一种不可逆的压缩，其原理是通过一定的数据筛选规则，选择性地保留部分数据，抛弃部分数据，并保证解压算法的还原精度在系统精度误差允许范围内。无损压缩也称为冗余度压缩，其是一种可逆的压缩，其本质则是削减源数据中的冗余成分，但是却不能舍弃源数据中的有效信息，以保证压缩前的源数据和解压缩还原后的数据完全一致。

而无损压缩受到数据统计冗余度的理论限制，其压缩比一般不会太高，无法解决所有数据的存储和传输问题的，因此主要应用于要求准确恢复数据及无失真信息传输等场合。相反，有损压缩算法则有较高的压缩比，可适用于实时数据库系统的存储需求，但同时也会导致系统精度下降。

目前，常见的有损压缩算法有死区限值压缩算法和趋势压缩算法，死区限值压缩算法是将新值与上一次的记录值进行比较，当两者差的绝对值小于误差允许阈值时，就抛弃该数据，反之保留该数据，死区压缩算法简单，但是压缩比低，很难满足实时数据库系统的要求。趋势压缩则以PI公司的旋转门算法为代表，旋转门算法提高了实时数据库的压缩率，但并没有对趋势的变化情况加以描述、记录和预测，因此压缩率和精确度都仍有提升的空间。

经检索发现，公开号CN108197181A的中国专利于2018年6月22日公开了一种时序数据的压缩存储方法、电子设备及存储介质，包括，分配步骤、建表步骤、合并步骤、存储步骤。该专利对测点数据表中属于同一行的时序数据进行压缩，旋转门算法是一种线性拟合算法，能够减少时序数据的保存量，节省存储空间。但仍然存在无法对压缩趋势的变化进行描述和记录的问题。所以针对工业物联网实时数据库的数据特征及对压缩算法的要求，本领域技术人员仍然需要对工业物联网实时数据库中有损压缩方法进行深入研究。

发明内容

为克服上述现有技术的不足，本发明提供一种工业物联网实时数据库中有损压缩方法及装置，通过动态预测、修正与检验对实时数据进行有损压的方法，可以同时提高有损压缩的压缩率和精确度。

本发明是通过以下技术方案予以实现的：

一种工业物联网实时数据库单点有损压缩方法，包括如下步骤：

基于预设的时间周期进行数据采集，并对采集到的数据进行数据预处理；

对前k个预处理后的数据计算两两之间的斜率，基于预设的误差容忍范围取得当前斜率上下限并进行排序，同时获取当前斜率限值率，确定与斜率限值率对应的数据作为斜率限制率点，将斜率限制率点之前的数据写入数据库，并将斜率限制率点记录为“最后写入数据”，第k个数据记录为“最后读入数据”；