[发明专利]一种特征数据去重的方法、系统、介质和终端

说明书

本发明提供一种特征数据去重的方法、系统、介质和终端，方法包括：获取一接入设备的待处理数据，根据待处理数据的接入时间与基准时间，判断所述接入设备的设备状态，若判定为正常设备，则将待处理数据的接入时间为基准，对超时数据进行删除；若判定为异常设备，则根据设备列表仅对所述接入设备的超时数据进行删除；对删除超时数据后的数据进行数据特征对比，并完成数据去重；本发明可以通过以设备和时间的双链表存储形式，极大的加快内存中的处理速度；通过抓拍时间和服务器的偏移量来确定数据是否异常，以及通过异常设备和正常设备的分别处理，保证系统的稳定性。

技术领域

本发明涉及安防领域，尤其涉及一种特征数据去重的方法、系统、介质和终端。

背景技术

随着物联网的普及，智能设备的应用越来越广泛，智能监控设备如智能摄像头等产品，已经越来越普遍地见诸日常生活。智能监控设备除了可以实施实时录像之外，还可以依据场景进行抓拍。

但是，当前的视频摄像头种类越来越多，各个厂商的产品标准也都各不相同，会导致摄像头上传的抓拍时间不统一和摄像头存在多次抓拍的情况很常见，使数据的可用性变差。

发明内容

鉴于以上所述现有技术的缺点，本发明提供一种特征数据去重的方法、系统、介质和终端，以解决上述技术问题。

本发明提供的特征数据去重的方法，包括：

获取一接入设备的待处理数据，根据待处理数据的接入时间与基准时间，判断所述接入设备的设备状态，所述设备状态包括正常设备和异常设备；

若判定所述接入设备为正常设备，则根据所述待处理数据的接入时间，对所有正常设备的超时数据进行删除；

若判定所述接入设备为异常设备，则根据仅对所述异常设备的超时数据进行删除；

对删除超时数据后的数据进行数据特征对比，并完成数据去重。

与本发明的一实施例中，所述待处理数据的接入时间包括抓拍时间，所述基准时间包括服务器时间，根据待处理数据的接入时间与基准时间获取时间的偏移量，

若所述偏移量在预设的时间阈值范围内，则判定所述接入设备为正常设备；

若所述偏移量不在预设的时间阈值范围内，则判定所述接入设备为异常设备。

与本发明的一实施例中，预先建立用于存储所有设备的图像数据的设备维度链表和用于存储所有待处理数据的接入时间的时间链表，所述设备维度链表包括正常设备链表和异常设备链表，所有接入设备在接入时初始化判定为正常设备；

若根据所述偏移量判定所述接入设备为正常设备，则统一根据抓拍时间通过时间链表对所有接入设备的超时数据进行删除。

与本发明的一实施例中，对判定为正常设备的超时数据进行删除后，根据所述设备链表中的图像数据进行特征比对，

若比对结果不符合预设的相似度阈值，则判定为不重复；

若比对结果符合预设的相似度阈值，则判定为重复，则根据图像数据的图像质量，择优选取。

与本发明的一实施例中，若所述偏移量不在预设的时间阈值范围内，则将所述接入设备的设备信息加入异常设备列表中，并删除正常设备列表中的设备信息；

根据设备链表对所述接入设备的超时数据进行删除。

与本发明的一实施例中，对判定为异常设备的超时数据进行删除后，根据所述设备链表中的图像数据进行特征比对，

若比对结果不符合预设的相似度阈值，则判定为不重复；

若比对结果符合预设的相似度阈值，则判定为重复，则根据图像数据的图像质量，择优选取。