[发明专利]短文本的垃圾识别方法及系统

权利要求书

1.一种短文本的垃圾识别方法，其特征在于，包括：

对网站平台上设定时间段内出现的短文本，分别提取各短文本的特征词，并计算出各短文本的词语特征向量；

根据各短文本的词语特征向量，对所述设定时间段内出现的短文本进行集合划分；其中，被划分到同一集合中的短文本被判定为内容相似；

统计每个集合中的短文本的数量，将短文本的数量超过设定阈值的集合进行垃圾标识。

2.如权利要求1所述的方法，其特征在于，所述根据各短文本的词语特征向量，对所述设定时间段内出现的短文本进行集合划分具体包括：

对于所述设定时间段内出现的每个短文本，依据如下方法计算该短文本的文本指纹值：

将该短文本的N个特征词分别对应转换为N个n比特的无符号型整数；其中，N为该短文本的特征词总数，n为预先设定的比特位数；

根据如下方法计算数组中各数组元素：对于第i个数组元素T_i，将T_i初始化为0后，依次读取由各特征词转换的无符号型整数的第i比特的数值；若读取的当前的无符号型整数的第i比特的数值为1，则将T_i增加w_j；否则，将T_i减去w_j；其中，i为1～n的自然数，w_j为读取的当前的无符号型整数所对应的特征词的权重值；

将所述数组中各数组元素进行二值化后，得到n位二进制数值作为该短文本的文本指纹值；

将文本指纹值相同的短文本划分到同一个集合中。

3.如权利要求1所述的方法，其特征在于，所述根据各短文本的词语特征向量，对所述设定时间段内出现的短文本进行集合划分具体包括：

对于所述设定时间段内出现的每个短文本，依据如下方法计算该短文本的文本指纹值：

将该短文本的词语特征向量中的各特征词的权重值分别转换为N个n比特的无符号型整数；其中，N为该短文本的词语特征向量的元素总数，n为预先设定的比特位数；

根据如下方法计算数组中的第i个数组元素T_i：将T_i初始化为0后，依次读取各无符号型整数的第i比特的数值；若读取的当前的无符号型整数的第i比特的数值为1，则将T_i增加w_i；否则，将T_i减去w_i；其中，i为1～N的自然数，w_i为该短文本的词语特征向量中第i个特征词的权重值；

将所述数组中各数组元素进行二值化后，得到n位二进制数值作为该短文本的文本指纹值；

将文本指纹值位数重合度高于设定条件的短文本划分到同一集合中。

4.如权利要求3所述的方法，其特征在于，所述将文本指纹值位数重合度高于设定条件的短文本划分到同一集合中，具体包括：

将第一文本指纹值中的各位二进制数值，分别与第二文本指纹值中的各位二进制数值进行比较；若比较结果为相同的数值个数超过设定值，则判定第一文本指纹值与第二文本指纹值重合度高于设定条件，将第一文本指纹值的短文本与第二文本指纹值的短文本划分到同一个集合中。

5.如权利要求2-4任一所述的方法，其特征在于，所述将所述数组中各数组元素进行二值化具体包括：

对于所述数组中的第i个数组元素，判断该数组元素是否大于0；若是，确定第i位二进制数值为1；否则，确定第i位二进制数值为0。

6.如权利要求2-4任一所述的方法，其特征在于，所述将该短文本的N个特征词分别对应转换为N个n比特的无符号型整数具体为：

通过哈希算法将该短文本的N个特征词分别对应转换为N个n比特的无符号型整数。

7.如权利要求1-4任一所述的方法，其中，所述分别计算各短文本的词语特征向量具体包括：

对于所述设定时间段内出现的每个短文本，对该短文本进行分词后得到该短文本的各特征词；对于每个特征词，计算该特征词的TF、IDF值，并根据计算的TF、IDF值计算出该特征词的权重；由各特征词的权重组成该短文本的词语特征向量。