[发明专利]数据去重方法、装置、设备及介质

摘要

本申请公开了一种数据去重方法、装置、设备及介质，该方法包括获取服务器发送的样本库以得到本地样本库；获取目标请求并将其添加至预设数据库中的请求队列；获取预设数据库发送的目标子队列；目标子队列中的请求为当前请求队列中的位于目标请求之前的所有请求；判断与目标请求对应的目标样本是否与目标子队列所对应的样本相似，若相似则禁止写入本地样本库，若均不相似则判断目标样本是否与本地样本库中的样本相似；若与本地样本库中的样本相似则禁止写入本地样本库，若均不相似则写入本地样本库。通过上述方案，可以允许并行地获取写入请求并进行相应的去重处理，从而实现在避免样本库出现相似样本数据的情况下有效地提升样本入库效率的效果。

主权项

1.一种数据去重方法，其特征在于，包括：/n获取服务器发送的样本库，以得到本地样本库；/n获取目标请求，并将所述目标请求添加至预设数据库中的请求队列；/n获取所述预设数据库发送的目标子队列；所述目标子队列中的请求为当前所述请求队列中的位于所述目标请求之前的所有请求；/n判断所述目标请求对应的目标样本是否与所述目标子队列所对应的样本相似，若相似，则禁止将所述目标样本写入所述本地样本库，若均不相似，则判断所述目标样本是否与所述本地样本库中的样本相似；/n若所述目标样本与所述本地样本库中的样本相似，则禁止将所述目标样本写入所述本地样本库，若所述目标样本与所述本地样本库中的样本均不相似，则将所述目标样本写入所述本地样本库。/n