[发明专利]一种WIFI终端设备轨迹数据的实时分析和去重方法及系统

权利要求书

1.一种WIFI终端设备轨迹数据的实时分析和去重方法，其特征在于，所述WIFI终端设备轨迹数据的实时分析和去重方法包括：

实时接收从分布式消息中间件服务kafka消费的数据，并将实时数据缓存到Redis内存数据库中；

通过实时分析数据的采集时间计算该终端设备的当前记录与上一条该设备的记录的时间差，判断当前记录是否属于重新上线的记录，获得终端设备的上线时间记录，并更新下线时间记录；

所述WIFI终端设备轨迹数据的实时分析和去重方法具体包括以下步骤：

步骤一，在Redis内存数据库存储两种key，实时从kafka获取wifi终端轨迹数据；所述两种key具体包括：

所述两种key分别为：key1与key2；

所述key1存储当前终端设备最新的采集时间和上线时间，

所述key2存储当前终端设备最新的一条数据加上该数据的上线时间；

步骤二，对获取的每一条数据，根据数据到Redis获取key1值，判断是否获取到，若没有获取到则可判断该条数据为设备新上线的轨迹数据，并执行步骤三；若有获取到则执行步骤四；

步骤三，将该条数据写入kafka，其中记录的ID加上上线时间；插入Redis的key1值；获取Redis的key2值，判断是否能得到终端设备上一个在线时间段的最新轨迹数据，如果获取到则将该最新轨迹数据写入kafka，并指定一个固定的kafka key，使数据发送到同一个kafka分区，保证数据的顺序性；写入成功后将key2值删除；

步骤四，若有获取到key1值，则将当前终端轨迹数据的采集时间和获取到的key1值的采集时间相减，判断时间差并执行相应操作；所述判断时间差并执行相应操作具体包括：

如果时间差超过5分钟，则判断该条数据为设备新上线的轨迹数据，执行步骤三；

如果时间差没有超过5分钟，表示为终端当前时间段的在线轨迹数据，则更新Redis的key1值；同时插入Redis的key2值；

步骤五，从Redis获取步骤四写入的 key2数据，并判断当前记录的采集时间和上线时间是否满足跨天即是否超过1天，如果超过一天则执行步骤六；如果未超过一天，则将数据发送到非跨天的kafka topic中；

步骤六，将跨天数据插入另一个专门的跨天数据kafka topic；同时判断当前采集时间和记录的上一条采集时间是否有跨天，如果有跨天，执行步骤七；如果没有跨天，则不执行任何操作；

步骤七，判断当前采集时间和记录的开始时间是否刚好跨一天；如果刚好跨一天，则删除ES上面最开始的跨天记录；如果没有刚好跨一天，而是超过一天，则不执行任何操作；

步骤八，从kafka消费没有跨天的数据到指定索引；从kafka消费有跨天的数据到跨天索引中。

2.一种实现权利要求1所述WIFI终端设备轨迹数据的实时分析和去重方法的信息数据处理终端。

3.一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行如权利要求1所述的WIFI终端设备轨迹数据的实时分析和去重方法。

4.一种实现权利要求1所述WIFI终端设备轨迹数据的实时分析和去重方法的WIFI终端设备轨迹数据的实时分析和去重控制系统。