[发明专利]一种针对wifi探针采集的海量数据的去重方法及系统

权利要求书

1.一种针对wifi探针采集的海量数据的去重方法，其特征在于，在Redis存储两种key：

k ey1是存储当前最新的采集时间和上线时间；

k ey 2是存储最新的一条数据加上该数据的上线时间；

所述针对wifi探针采集的海量数据的去重方法包括以下步骤：

步骤一，判断每条数据是否为在线记录；

步骤二，从Redis取key2在线记录写入Elasticsearch的轨迹表；

步骤三，从跨天的Kafka topic取出步骤二写入的跨天数据后，将数据写入跨天Elasticsearch索引，并删除对应的Redis数据，同时删除起初在轨迹索引的记录；

所述步骤一根据数据到Redis获取key1值，判断是否获取到，没有，获取到执行点1；有，获取到执行点2；

获取到执行点1的方法中没有获取到key1，则是新上线的值，具体包括以下步骤：

步骤1：将该条数据插入Elasticsearch的轨迹表；

步骤2：插入key1值，采集时间和上线时间都为当前数据的采集时间；

获取到执行点2的方法包括：

获取到key1，将当前的采集时间和获取到的key1的采集时间相减，判断时间差；

若时间差超过30分钟，则为最新的上线数据，执行点1的步骤；

若时间差没有超过30分钟，执行以下步骤：

步骤I：更新key1值，采集时间为当前采集时间，上线时间不变；

步骤II：插入key2值，值为该条数据加上key1的上线时间；

所述步骤二具体包括：

每隔30分钟取一次当前所有的Redis的在线记录，根据记录中的采集时间和上线时间判断该条记录是否是跨天数据，分别发送到跨天的Kafka topic和不跨天的Kafka topic，然后获取不跨天的K afka topic写入Elasticsearch的轨迹表和跨天表，执行成功后，删除对应的Redis数据。

2.一种实施权利要求1所述针对wifi探针采集的海量数据的去重方法的针对wifi探针采集的海量数据的去重控制系统。

3.一种实现权利要求1所述针对wifi探针采集的海量数据的去重方法的信息数据处理终端。

4.一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行如权利要求1所述的针对wifi探针采集的海量数据的去重方法。