[发明专利]一种物联网生态监测数据高效去重的方法

说明书

本申请涉及物联网生态监测数据处理技术领域，具体涉及一种生态数据高效去重的方法。在本申请中，对生态系统接收到的原始生态监测数据进行去重操作时，首先将原始生态监测数据进行一系列的映射与多次哈希计算，得到与其对应且唯一的标识值，该标识值为整型数据；再基于Roaring Bitmap的存储规则，对唯一标识值进行分位计算得到高16位对应的key值与低16位的对应value值，依此判断生态系统中是否存有与此生态监测数据相同的数据，从而判断是否对该生态监测数据进行后续存储操作。基于这种实施方法，可有效地避免生态监测系统存储空间的浪费，实现高效的生态数据去重效果。

技术领域

本申请涉及物联网生态监测数据处理技术领域，尤其涉及一种生态数据高效去重方法。

背景技术

近几年,物联网技术与传感器技术在生态领域得到广泛应用，有效降低了生态监测数据采集的困难，并保证了生态监测数据的有效性和实时性。

为了提高生态监测数据的准确性，传感器上传数据时间间隔设置较小，导致一定时间段内重复数据较多，占用较大内存及存储空间。且由于传感器的重试机制，相同数据可能会多次发送，造成存储空间的浪费。

目前常见去重方法有将位图以及布隆过滤器与系统结合使用，其中，(1)位图Bitmap：其原理是一种特殊的散列表，用一个bit位来标记元素对应的value，采用bit为单位来存储数据，大大节省存储空间，加快大量数据中查询的时间，但由于其占用的内存空间恒定不变，不适用于稀疏存储的情况。(2)布隆过滤器：由长度为m比特的位数组与k个哈希函数组成的数据结构，通过多重哈希值计算得到位数组地址映射，插入和查询时间复杂度均为O(k)，但其存在假阳性的概率，不适用于任何要求100％准确率的情境。

为此，有必要提出一种物联网生态监测数据高效去重的方法。

发明内容

有鉴于此，本申请提供一种物联网生态监测数据高效去重的方法，用以提高内存使用效率，提高数据有效性及准确性，避免使用布隆过滤器出现“假阳性”的情况及位图不适合存储稀疏矩阵的缺点，本发明能够高效地对物联网生态监测数据进行去重，并且所耗费的存储空间较少。

为实现上述目的，本发明采用的方法是将Roaring Bitmap结构同生态监测系统结合起来，对生态监测数据进行高效压缩存储及去重操作，并且Roaring Bitmap可实现如且运算、或运算、排序等快速高效的位图运算，有效降低时间复杂度。

在生态监测系统接收到物联网终端所采集的原始生态数据后，原始生态数据格式如{dn:3N27-ELUI-VNNE,d:[[24.71,61.31,32.53,9.273,.02795,646.2,26.14,16.3,75.44,1013.516,0,.69,27.58,9.33,17.61,16.95,16.9,17.04,28.09,27.45,27.49,26.47,33.28524,16.92,0.048932,0,5.84584,70.6,24.9,942]],sc:2,pc:5,cc:20979}。我们根据映射规则将原始生态数据解析后再经过多次哈希算法计算，生成对应且唯一的整型数据bio_data后使用Roaring Bitmap来压缩存储。在存储或查找数据时，我们将数值bio_data划分为高16位(k mod2^16)和低16位(k mod 2^16)，取高16位找到对应的桶，然后取低16位将数据存放到相应的Container中或查找对应Container。