[发明专利]基于关键词的不良文本检测方法及装置

说明书

技术领域

本发明涉及网页内容检测领域，更具体地说，涉及一种基于关键词的不良文本检测方法及装置。

背景技术

随着互联网的普及和网络带宽的提高，互联网中可访问的网站数量及网页内容也呈现出爆炸性增加的趋势。由于互联网的开放性，网页内容中掺杂了不少涉黄、涉赌及涉毒等违规的不良信息。为了封锁包含不良信息的违规网页，净化网络环境，需对网页内容进行实时监控。

以往，为了对网页内容进行实时监控，提出了根据关键词出现的次数来衡量一个网页是否违规。具体地，当某一网页中的关键词出现的次数超过阈值时，判断该网页违规。

然而，互联网中网站数量庞大，网页内容繁多，其中涉黄、涉赌及涉毒的违规词的基数庞大，违规词的伪装词也五花八门。例如，对于涉黄的违规词“性爱”，违规网站常常不直接使用该违规词，而是使用近音词、近形词来替代，例如“悻愛”、“性噯⌒”、“狌暧”等，而且还可能在违规词中间加上分隔符来干扰违规词的识别，例如“性☆爱”。

因此，按照以往的检测方法，即使耗费大量的人工去标记各种违规词作为关键词，也会不可避免地遗漏很多违规词。另一方面，基于违规词进行检测时难以识别伪装词。因此，现有技术由于关键词的限制，识别网页违规的准确率 较低。

发明内容

本发明提供一种基于关键词的不良文本检测方法及装置，能够提高基于关键词进行不良文本检测的准确率。

本发明解决其技术问题所采用的技术方案是：

第一方面，提供一种基于关键词的不良文本检测方法，包括如下步骤：

S0、获取多个种子词，所述种子词为用于表征不良信息的词语；

S1、根据语义聚类法对所述种子词进行扩展，得到与所述种子词语义关联的语义关联词，以所述种子词和所述语义关联词作为用于检测不良文本的关键词；

S2、在网页文本在宽带环境中传输的情况下，统计每个网页文本中所述关键词的出现次数，并根据所述出现次数确定属于不良文本的网页文本。

结合第一方面，在其第一种可能的实现方式中，所述种子词为N个，N为整数且N≥2，所述步骤S1具体包括：

S11、获取含有不良信息的训练文档，将所述训练文档中的每个词转换为词向量形式的待训练词向量，并将所述种子词转换为词向量形式的种子词向量，所述待训练词向量与所述种子词向量位于同一词向量空间中；

S12、计算每个所述待训练词向量与每个所述种子词向量之间的余弦距离；

S13、在所述词向量空间中，以N个所述种子词向量作为初始质心，利用K-means聚类算法对所述待训练词向量进行聚类，得到K个词向量簇，每个所述词向量簇分别具有一个聚类质心，其中K为正整数且K≤N；

S14、对于所述聚类质心距所述种子词向量的余弦距离最小的所述词向量簇，确定其中的所述待训练词向量对应的词，并将所确定的词作为与该种子词向量对应的所述种子词的所述语义关联词。

结合第一方面的第一种可能的实现方式，在其第二种可能的实现方式中，所述步骤S11中的所述获取含有不良信息的训练文档具体包括：

获取所述步骤S2中被确定为不良文本的所述网页文本。

结合第一方面，在其第三种可能的实现方式中，所述步骤S2具体包括：

S21、统计每个网页文本中所述关键词的出现次数，并判断所述出现次数是否超出阈值；

S22、当所述出现次数超出所述阈值时，初步判断所述网页文本为不良文本；

S23、显示被初步判断为不良文本的所述网页文本；

S24、接收检测人员输入的、表示被初步判断为不良文本的所述网页文本属于不良文本的指示，并根据所述指示，确定被初步判断为不良文本的所述网页文本属于不良文本。

结合第一方面，在其第四种可能的实现方式中，所述步骤S0还包括：

对获取的多个所述种子词进行分类；

所述步骤S1具体包括：对于每种类型的所述种子词，分别根据语义聚类法进行扩展得到与该种类型的所述种子词语义关联的语义关联词，以该种类型的所述种子词及其所述语义关联词作为用于检测该种类型的不良文本的关键词。

结合第一方面或其第一种至第四种任一可能的实现方式，在其第五种可能的实现方式中，

所述步骤S0、步骤S1在离线模式下进行，所述步骤S2在在线模式下进行。

第二方面，提供一种基于关键词的不良文本检测装置，包括：

种子词获取单元，其用于获取多个种子词，所述种子词为用于表征不良信息的词语；