[发明专利]一种适用于农业传感数据的压缩方法

说明书

本发明涉及一种适用于农业传感数据的压缩方法，包括：S10、数据噪声处理：设定数据的变化阀值，对于超出所述阀值的异常点进行处理，减小噪声数据的误差干扰；S20、数据压缩：通过SDT压缩算法，计算压缩区间；根据压缩区间的值计算出线性回归方程；再通过线性回归方程计算压缩值进行数据压缩，从而减少算法的压缩误差；S30、压缩精度参数调整：每次压缩完数据后，根据相邻压缩区间的压缩量，动态调整压缩精度参数，适应趋势变化；S40、使用最新的压缩参数精度，继续重复步骤S10～S40，进行下一轮的数据压缩和压缩精度参数调整，直到数据压缩结束，完成数据的压缩。本发明方法能够保证算法较低复杂度的前提下，降低压缩误差，有效提高压缩比。

技术领域

本发明涉及数据压缩技术领域，更具体地说，涉及一种适用于农业传感数据的压缩方法。

背景技术

农业在生产过程中部署了大量的传感设备来采集数据。通过这些传感数据，可以对农作物的生产环境进行监测从而指导农作物的生产。将这些采集的数据放在数据中心，进而对农业生产环境的历史数据和实时数据进行分析。提高对农作物天气情况，气温条件，土壤湿度的关联监测能力。以便对农作物的生长进度，农产品产量做出科学的判断。这些监测数据都具采集频率高，数据量大，数据变化缓慢等特点。因此，为了确保能够存储这些海量数据，并且尽可能的降低数据的存储量，提高存储效率，需要对此类渐变式的传感数据进行数据压缩。

现有的压缩技术主要分为两大类，包括无损压缩和有损压缩。其中无损压缩的特点是压缩还原数据不失真，但是其压缩比大量低于有损压缩，而且计算量大。有基于统计概率模型，基于字典模型等无损压缩算法。但是，由于农业传感数据特点是数据量大，变化趋势缓慢，并且容许有部分数据信息损失。因此，我们采取有损压缩算法，在误差允许范围内，可以获得较高的压缩比。目前，在有损压缩算法中，由于矢量算法计算量大，信号变换法目前技术还不够成熟。现如今，大部分的实时数据库都采用旋转门趋势(swinging doortrending，SDT)压缩算法进行数据压缩。

虽然后续的研究者对该算法陆续提出了一些改进方案，并且提高了压缩性能。但是或只提高了压缩比,或者只减低了压缩误差，又或者采取了较为复杂的计算来提高压缩性能。

发明内容

本发明的目的在于克服现有技术的不足，以提高农业传感的数据压缩性能为目的，提出了一种适用于农业传感数据的改进的旋转门数据压缩方法，首先，对于数据的异常点，通过设定变化阀值做异常处理，减少异常数据的误差干扰；然后，利用线性回归线代替简单首尾相连，减小压缩误差；最后，根据相邻压缩区间的压缩量进行趋势判断，动态调整压缩精度参数E，提高整体的压缩性能。

本发明的技术方案如下：

一种适用于农业传感数据的压缩方法，包括：

S10、数据噪声处理：设定农业传感数据的变化阀值，对于超出所述阀值的异常点进行处理，减小噪声数据的误差干扰；

S20、数据压缩：通过SDT压缩算法，计算出压缩区间；根据所述压缩区间的值计算出线性回归方程，并通过线性回归方程计算出压缩值进行数据压缩，从而减少算法的压缩误差；

S30、压缩精度参数调整：每次压缩完数据后，根据相邻压缩区间的压缩量，动态调整压缩精度参数，适应趋势变化；

S40、使用最新的压缩参数精度，重复步骤S10～S40，进行下一轮的数据压缩和压缩精度参数调整，直到数据压缩结束。

优选的，步骤S10所述的数据噪声处理，包括如下步骤：

S101、设定农业传感数据的变化阀值为TS；