[发明专利]一种融入小波变换和主成分的农业无线传感数据流压缩方法

说明书

技术领域

本发明涉及农业动态数据流压缩技术，尤其是一种农业无线传感数据流压缩方法。

背景技术

随着计算机、网络和通信技术的迅猛发展，许多应用领域出现了海量、高速和动态的数据，如电子商务、传感器网络、网络监测等等。这些领域中的数据常常以数据流的形式出现，如：传感器网络获得的实时数据就是典型的数据流。其主要特点为：1)数据流动态增长，长度可能无限；2)对流中的数据只能一次扫描，利用一次扫描建立数据流的近似概要结构，其后的处理只能依赖该概要结构。

精细农业是综合应用地球空间信息技术、计算机辅助决策技术、农业工程技术等现代高新技术，以获得农田“高产、优质、高效”的现代化生产模式和技术体系。其核心技术包括地理信息系统GIS、全球定位系统GPS、遥感技术RS和计算机自动控制技术。目前国内的农作物生长环境的数据采集主要是使用专用数据采集仪进行人工田间测量，再将测量数据带回实验室传输到计算机进行实验分析。对于需要长时间定时采集的数据，如温湿度、光照强度、作物生长特征等数据，则需要反复多次到田间测量，这种做法的时间成本和人力成本较高。相对发达国家来说，国内在农作物生长环境的信息采集技术方面的研究和应用都相对滞后。无线传感网络(WSN，Wireless Sensor Networks)是当前在国际上备受关注的、涉及多学科高度交叉、知识高度集成的前沿热点研究领域。它综合了传感器技术、嵌入式计算技术、现代网络及无线通信技术、分布式信息处理技术等，能够通过各类集成化的微型传感器协作地实时监测、感知和采集各种环境或监测对象的信息，该技术被我国逐渐应用于农业中。由于无线传感器网络获得的实时数据通常具有数量大、数据流量突发性高等特点，如何保存如此庞大的实时数据以及如何访问这些保存的历史数据一直是个难题。

数据压缩主要是通过去除数据间存在的冗余度或者对数据间具有相关性的数据进行二次表达，以达到减少存储资源的目的，同时丢弃的这些数据又保证在一定的误差控制中不影响对历史数据的重构，方便之后对历史数据的查询处理。目前，数据压缩的方法有很多，主要包括完全可逆的冗余度压缩和实际上不可逆的熵压缩两类。冗余度压缩常用于磁盘文件、数据通信和气象卫星云图等不允许在压缩过程中有丝毫损失的场合中。但它的压缩比通常只有几倍，远远不能满足数字视听应用的要求。在实践的数字视听设备中，差不多都采用压缩比更高、但实际有损的熵压缩技术。只要作为最终用户的人觉察不出或者能够容忍这些失真，就允许对数字音像信号进一步压缩以换取更高的编码效率。但是这些方法的压缩比不高，存储数据的空间有限，常常导致数据失真。显然，现有的数据压缩方法不能有效适用于农业无线传感数据流。

发明内容

为了克服已有现有动态数据流压缩方法的压缩比不高、数据失真度较高、存储数据空间受限的不足，本发明提供一种压缩比较高、数据失真少、有效减少数据存储空间的融入小波变换和主成分的农业无线传感数据压缩方法。

本发明解决其技术问题所采用的技术方案是：

一种融入小波变换和主成分的农业无线传感数据流压缩方法，所述压缩方法包括以下步骤：

1)数据节点阈值过滤：先将农业无线传感数据流中不断到来的数据作为第1层，即在相同的时间内到来的数据序列表示为X＝{x₁，x₂，...，x_n}，该序列由n个数据组成，假设序列中平均数据个数为n′，将这n′个数据组成为一个数据节点，则第1层的数据节点数有其中M为数据流的总数据个数；

2)数据预处理：假设数据序列X中数据x_i的属性个数为m，如果空缺属性个数则认为该条数据流是噪声，直接过滤；反之，将空缺属性补充为所有该属性的加权平均；

3)压缩处理：将第1层每n′个数据组成的子序列进行压缩，构成第2层的一个数据节点，记该子序列为d_i，该数据节点为p_i，则p_i中保存了d_i的概要信息。随着新数据的不断到来，第2层上的数据节点不断增加，当第2层上的数据节点个数时，将最老的p_i个数据节点进行归并，合并成第3层上的1个数据节点，并计算数据节点的概要信息，以此逐层向上，从而使得该农业无线传感数据流总是被压缩成一组分层次的数据节点，最后构造一棵能够存储小波系数的误差树；