[发明专利]一种重复交通流数据的检测方法、装置及设备

权利要求书

1.一种重复交通流数据的检测方法，其特征在于，包括：

对交通流数据进行分词，得到特征词集合；

确定所述特征词集合中各个特征词的hash值和权重维度；

以所述权重维度的向量为灰狼位置，利用灰狼算法确定所述特征词集合中各个特征词的最优权重；

根据所述特征词集合中各个特征词的所述hash值和所述最优权重，确定所述交通流数据的simhash指纹；

根据所述simhash指纹，检测得到所述交通流数据的重复数据；

所述灰狼算法的目标适应度函数为：

其中，TP(X_i)为以第i只灰狼个体的位置X_i作为特征词权重的simhash算法的检测出来的正确重复数据的数量，FN(X_i)则为交通流数据所包含的全部重复数据中没被检测出来的重复数据的数量，FP(X_i)是检测出来的重复数据中不是重复数据的数量。

2.如权利要求1所述的方法，其特征在于，所述对交通流数据进行分词，得到特征词集合，包括：

根据预先设置的分词规则，对交通流数据进行分词，得到特征词集合。

3.如权利要求1所述的方法，其特征在于，所述根据所述特征词集合中各个特征词的所述hash值和所述最优权重，确定所述交通流数据的simhash指纹，包括：

根据所述特征词集合中各个特征词的所述hash值和所述最优权重，对所述hash值进行加权求和，得到初始simhash指纹；

对所述初始simhash指纹进行降维，得到所述交通流数据的simhash指纹。

4.如权利要求1-3任意一项所述的方法，其特征在于，所述利用灰狼算法确定所述特征词集合中各个特征词的最优权重，包括：

在当前迭代过程中，根据上一迭代过程中的最优灰狼，更新灰狼种群中各个灰狼的位置；确定所述灰狼种群中各个灰狼的适应度值；根据所述适应度值，确定所述当前迭代过程中的最优灰狼；

在当前迭代次数未达到预设最大迭代次数时，根据所述当前迭代过程中的最优灰狼进入下一迭代过程；

在当前迭代次数达到预设最大迭代次数时，根据当前迭代过程中的最优灰狼，确定所述特征词集合中各个特征词的最优权重。

5.如权利要求4所述的方法，其特征在于，所述根据所述适应度值，确定所述当前迭代过程中的最优灰狼，包括：

确定适应度值最大的三只灰狼，以作为所述当前迭代过程中的最优灰狼。

6.如权利要求4所述的方法，其特征在于，所述根据上一迭代过程中的最优灰狼，更新灰狼种群中各个灰狼的位置，包括：

根据上一迭代过程中的最优灰狼，更新灰狼种群中各个灰狼的位置；并对所述灰狼种群中各个灰狼的位置进行混沌初始化。

7.一种重复交通流数据的检测装置，其特征在于，包括：

分词模块：用于对交通流数据进行分词，得到特征词集合；

权重维度确定模块：用于确定所述特征词集合中各个特征词的hash值和权重维度；

最优权重确定模块：用于以所述权重维度的向量为灰狼位置，利用灰狼算法确定所述特征词集合中各个特征词的最优权重；

指纹确定模块：用于根据所述特征词集合中各个特征词的所述hash值和所述最优权重，确定所述交通流数据的simhash指纹；

重复数据检测模块：用于根据所述simhash指纹，检测得到所述交通流数据的重复数据；

所述灰狼算法的目标适应度函数为：

其中，TP(X_i)为以第i只灰狼个体的位置X_i作为特征词权重的simhash算法的检测出来的正确重复数据的数量，FN(X_i)则为交通流数据所包含的全部重复数据中没被检测出来的重复数据的数量，FP(X_i)是检测出来的重复数据中不是重复数据的数量。