[发明专利]一种重复交通流数据的检测方法、装置及设备

说明书

本申请公开了一种重复交通流数据的检测方法、装置、设备及计算机可读存储介质，方案包括：对交通流数据进行分词，得到特征词集合；确定特征词集合中各个特征词的hash值和权重维度；以权重维度的向量为灰狼位置，利用灰狼算法确定各个特征词的最优权重；根据各特征词的hash值和最优权重，确定交通流数据的simhash指纹；根据simhash指纹，检测得到交通流数据的重复数据。可见，该方案针对simhash算法中特征词对应的权重难以选取的问题，利用灰狼算法对simhash算法中特征词的权重进行了优化，最终利用基于灰狼算法优化的simhash算法检测重复交通流数据，显著提升了重复交通流数据的检测的准确率和效率。

技术领域

本申请涉及数据查重领域，特别涉及一种重复交通流数据的检测方法、装置、设备及计算机可读存储介质。

背景技术

交通流数据具备数据量大且容易重复储存的特点，因此会产生冗余数据，冗余数据会严重影响交通流数据的数据质量。

为了把控交通流数据质量，必须对相似重复的交通流数据进行检测识别并处理，才能保障之后的交通流数据分析和进一步的运用的准确性，为交通系统的安全性、稳定性以及长期发展提供保证。目前，检测重复数据的方案一般有近邻排序、多躺近邻排序，simhash算法等。然而，以上重复数据检测方案的准确性和检测效率较低，难以满足当前需求。

可见，如何提供一种重复交通流数据的检测方案，提升交通流数据检测准确性和效率，是亟待本领域技术人员解决的问题。

发明内容

本申请的目的是提供一种重复交通流数据的检测方法、装置、设备及计算机可读存储介质，用以解决传统的重复数据检测方案的准确性和检测效率较低，难以满足当前需求的问题。具体方案如下：

第一方面，本申请提供了一种重复交通流数据的检测方法，包括：

对交通流数据进行分词，得到特征词集合；

确定所述特征词集合中各个特征词的hash值和权重维度；

以所述权重维度的向量为灰狼位置，利用灰狼算法确定所述特征词集合中各个特征词的最优权重；

根据所述特征词集合中各个特征词的所述hash值和所述最优权重，确定所述交通流数据的simhash指纹；

根据所述simhash指纹，检测得到所述交通流数据的重复数据。

优选的，所述对交通流数据进行分词，得到特征词集合，包括：

根据预先设置的分词规则，对交通流数据进行分词，得到特征词集合。

优选的，所述根据所述特征词集合中各个特征词的所述hash值和所述最优权重，确定所述交通流数据的simhash指纹，包括：

根据所述特征词集合中各个特征词的所述hash值和所述最优权重，对所述hash值进行加权求和，得到初始simhash指纹；

对所述初始simhash指纹进行降维，得到所述交通流数据的simhash指纹。

优选的，所述利用灰狼算法确定所述特征词集合中各个特征词的最优权重，包括：

在当前迭代过程中，根据上一迭代过程中的最优灰狼，更新灰狼种群中各个灰狼的位置；确定所述灰狼种群中各个灰狼的适应度值；根据所述适应度值，确定所述当前迭代过程中的最优灰狼；

在当前迭代次数未达到预设最大迭代次数时，根据所述当前迭代过程中的最优灰狼进入下一迭代过程；

在当前迭代次数达到预设最大迭代次数时，根据当前迭代过程中的最优灰狼，确定所述特征词集合中各个特征词的最优权重。

优选的，所述根据所述适应度值，确定所述当前迭代过程中的最优灰狼，包括：