[发明专利]短文本的垃圾识别方法及系统

说明书

技术领域

本发明涉及互联网领域，尤其涉及一种短文本的垃圾识别方法及系统。

背景技术

互联网技术迅猛发展，网上信息爆炸式增长；随着生活、工作节奏的加快，人们越来越倾向于用简短的文字来沟通交流。以twitter（推特）和新浪微博为代表的以较小的短文本来生产、组织和传播信息的SNS（Social Network Service，社会性网络服务）网站，获得网友的青睐。

目前，对互联网上的短文本内容进行自动垃圾识别的主要方法是，采用基于向量模型的方法，对于某个短文本内容将其分类为垃圾内容，或非垃圾内容；该方法包括：训练阶段和分类阶段。

在训练阶段，根据大量的短文本进行建模：对于训练集中已区分为垃圾内容，或非垃圾内容的各个短文本，进行分词，计算得到每个短文本的词语特征向量；基于训练集中每个短文本的词语特征向量建立向量模型，即基于训练集中每个短文本的词语特征向量建立垃圾文本集和非垃圾文本集；

在分类阶段，对于待判定短文本，进行分词后，计算出该待判定短文本的词语特征向量；根据该待判定短文本的词语特征向量，判定其属于垃圾文本集和非垃圾文本集的概率，从而确定出该待判定短文本是否为垃圾文本。

但是SNS网站由于其社交属性，在SNS网站上的短文本产生速度非常快，内容更新速度非常快，现有技术的基于训练、学习而后进行建模的短文本的垃圾识别方法无法达到实时更新，也就不能较为快速地对SNS网站上的短文本的内容进行垃圾识别，即不能及时地对SNS网站上的短文本的内容进行垃圾识别。

发明内容

针对上述现有技术存在的缺陷，本发明提供了一种短文本的垃圾识别方法及系统，用以提高对短文本的内容进行垃圾识别的及时性。

本发明的技术方案公开了一种短文本的垃圾识别方法，包括：

对网站平台上设定时间段内出现的短文本，分别提取各短文本的特征词，并计算出各短文本的词语特征向量；

根据各短文本的词语特征向量，对所述设定时间段内出现的短文本进行集合划分；其中，被划分到同一集合中的短文本被判定为内容相似；

统计每个集合中的短文本的数量，将短文本的数量超过设定阈值的集合进行垃圾标识。

较佳地，所述根据各短文本的词语特征向量，对所述设定时间段内出现的短文本进行集合划分具体包括：

对于所述设定时间段内出现的每个短文本，依据如下方法计算该短文本的文本指纹值：

将该短文本的N个特征词分别对应转换为N个n比特的无符号型整数；其中，N为该短文本的特征词总数，n为预先设定的比特位数；

根据如下方法计算数组中各数组元素：对于第i个数组元素T_i，将T_i初始化为0后，依次读取由各特征词转换的无符号型整数的第i比特的数值；若读取的当前的无符号型整数的第i比特的数值为1，则将T_i增加w_j；否则，将T_i减去w_j；其中，i为1～n的自然数，w_j为读取的当前的无符号型整数所对应的特征词的权重值；

将所述数组中各数组元素进行二值化后，得到n位二进制数值作为该短文本的文本指纹值；

将文本指纹值相同的短文本划分到同一个集合中。

或者，所述根据各短文本的词语特征向量，对所述设定时间段内出现的短文本进行集合划分具体包括：

对于所述设定时间段内出现的每个短文本，依据如下方法计算该短文本的文本指纹值：

将该短文本的词语特征向量中的各特征词的权重值分别转换为N个n比特的无符号型整数；其中，N为该短文本的词语特征向量的元素总数，n为预先设定的比特位数；

根据如下方法计算数组中的第i个数组元素T_i：将T_i初始化为0后，依次读取各无符号型整数的第i比特的数值；若读取的当前的无符号型整数的第i比特的数值为1，则将T_i增加w_i；否则，将T_i减去w_i；其中，i为1～N的自然数，w_i为该短文本的词语特征向量中第i个特征词的权重值；

将所述数组中各数组元素进行二值化后，得到n位二进制数值作为该短文本的文本指纹值；

将文本指纹值位数重合度高于设定条件的短文本划分到同一集合中。

较佳地，所述将文本指纹值位数重合度高于设定条件的短文本划分到同一集合中，具体包括：