[发明专利]一种特征数据去重的方法、系统、介质和终端

权利要求书

1.一种特征数据去重的方法，其特征在于，包括：

获取一接入设备的待处理数据，根据待处理数据的接入时间与基准时间，判断所述接入设备的设备状态，所述设备状态包括正常设备和异常设备；

若判定所述接入设备为正常设备，则根据所述待处理数据的接入时间，对所有正常设备的超时数据进行删除；

若判定所述接入设备为异常设备，则仅对所述异常设备的超时数据进行删除；

对删除超时数据后的数据进行数据特征对比，并完成数据去重；

所述待处理数据的接入时间包括抓拍时间，所述基准时间包括服务器时间，根据待处理数据的接入时间与基准时间获取时间的偏移量，

若所述偏移量在预设的时间阈值范围内，则判定所述接入设备为正常设备；

若所述偏移量不在预设的时间阈值范围内，则判定所述接入设备为异常设备。

2.根据权利要求1所述的特征数据去重的方法，其特征在于，预先建立用于存储所有设备的图像数据的设备维度链表和用于存储所有待处理数据的接入时间的时间链表，所述设备维度链表包括正常设备链表和异常设备链表，所有接入设备在接入时初始化判定为正常设备；

若根据所述偏移量判定所述接入设备为正常设备，则统一根据抓拍时间通过时间链表对所有正常设备的超时数据进行删除。

3.根据权利要求2所述的特征数据去重的方法，其特征在于，

对判定为正常设备的超时数据进行删除后，根据所述设备链表中的图像数据进行特征比对，

若比对结果不符合预设的相似度阈值，则判定为不重复；

若比对结果符合预设的相似度阈值，则判定为重复，则根据图像数据的图像质量，择优选取。

4.根据权利要求2所述的特征数据去重的方法，其特征在于，

若所述偏移量不在预设的时间阈值范围内，则将所述接入设备的设备信息加入异常设备列表中，并删除正常设备列表中的设备信息；

根据设备链表仅对所述异常设备的超时数据进行删除。

5.根据权利要求4所述的特征数据去重的方法，其特征在于，

对判定为异常设备的超时数据进行删除后，根据所述设备链表中的图像数据进行特征比对，

若比对结果不符合预设的相似度阈值，则判定为不重复；

若比对结果符合预设的相似度阈值，则判定为重复，则根据图像数据的图像质量，择优选取。

6.根据权利要求4所述的特征数据去重的方法，其特征在于，预设超时阈值，将抓拍时间和超时阈值作为删除条件，并根据删除条件执行超时数据的删除。

7.根据权利要求6所述的特征数据去重的方法，其特征在于，当存在一异常设备，且在所述异常设备在预设的时间范围内无数据产生时，则对所述异常设备的缓存数据进行删除处理，所述预设的时间范围根据最新的数据接入时间、偏移量和超时阈值获取。

8.根据权利要求7所述的特征数据去重的方法，其特征在于，定时获取每个接入设备的最新数据，若一异常设备的抓拍时间、偏移量、超时阈值之和小于服务器时间，则删除所述异常设备的所有待处理数据。

9.一种特征数据去重系统，其特征在于，包括：

数据采集模块，用于获取一接入设备的待处理数据，

数据处理模块，用于根据待处理数据的接入时间与基准时间，判断所述接入设备的设备状态，所述设备状态包括正常设备和异常设备；所述待处理数据的接入时间包括抓拍时间，所述基准时间包括服务器时间，根据待处理数据的接入时间与基准时间获取时间的偏移量，若所述偏移量在预设的时间阈值范围内，则判定所述接入设备为正常设备；若所述偏移量不在预设的时间阈值范围内，则判定所述接入设备为异常设备；

若判定所述接入设备为正常设备，则根据所述待处理数据的接入时间，对所有正常设备的超时数据进行删除；

若判定所述接入设备为异常设备，则仅对所述异常设备的超时数据进行删除；

数据去重模块，用于对删除超时数据后的数据进行数据特征对比，并完成数据去重。