[发明专利]基于关键词的不良文本检测方法及装置

权利要求书

1.一种基于关键词的不良文本检测方法，其特征在于，包括如下步骤：

S0、获取多个种子词，所述种子词为用于表征不良信息的词语；

S1、根据语义聚类法对所述种子词进行扩展，得到与所述种子词语义关联的语义关联词，以所述种子词和所述语义关联词作为用于检测不良文本的关键词；

S2、在网页文本在宽带环境中传输的情况下，统计每个网页文本中所述关键词的出现次数，并根据所述出现次数确定属于不良文本的网页文本。

2.根据权利要求1所述的方法，其特征在于，所述种子词为N个，N为整数且N≥2，所述步骤S1具体包括：

S11、获取含有不良信息的训练文档，将所述训练文档中的每个词转换为词向量形式的待训练词向量，并将所述种子词转换为词向量形式的种子词向量，所述待训练词向量与所述种子词向量位于同一词向量空间中；

S12、计算每个所述待训练词向量与每个所述种子词向量之间的余弦距离；

S13、在所述词向量空间中，以N个所述种子词向量作为初始质心，利用K-means聚类算法对所述待训练词向量进行聚类，得到K个词向量簇，每个所述词向量簇分别具有一个聚类质心，其中K为正整数且K≤N；

S14、对于所述聚类质心距所述种子词向量的余弦距离最小的所述词向量簇，确定其中的所述待训练词向量对应的词，并将所确定的词作为与该种子词向量对应的所述种子词的所述语义关联词。

3.根据权利要求2所述的方法，其特征在于，所述步骤S11中的所述获取含有不良信息的训练文档具体包括：

获取所述步骤S2中被确定为不良文本的所述网页文本。

4.根据权利要求1所述的方法，其特征在于，所述步骤S2具体包括：

S21、统计每个网页文本中所述关键词的出现次数，并判断所述出现次数是否超出阈值；

S22、当所述出现次数超出所述阈值时，初步判断所述网页文本为不良文 本；

S23、显示被初步判断为不良文本的所述网页文本；

S24、接收检测人员输入的、表示被初步判断为不良文本的所述网页文本属于不良文本的指示，并根据所述指示，确定被初步判断为不良文本的所述网页文本属于不良文本。

5.根据权利要求1所述的方法，其特征在于，所述步骤S0还包括：

对获取的多个所述种子词进行分类；

所述步骤S1具体包括：对于每种类型的所述种子词，分别根据语义聚类法进行扩展得到与该种类型的所述种子词语义关联的语义关联词，以该种类型的所述种子词及其所述语义关联词作为用于检测该种类型的不良文本的关键词。

6.根据权利要求1至5任一项所述的方法，其特征在于，

所述步骤S0、步骤S1在离线模式下进行，所述步骤S2在在线模式下进行。

7.一种基于关键词的不良文本检测装置，其特征在于，包括：

种子词获取单元，其用于获取多个种子词，所述种子词为用于表征不良信息的词语；

语义关联词扩展单元，其用于根据语义聚类法对所述种子词获取单元获取的种子词进行扩展，得到与所述种子词语义关联的语义关联词，以所述种子词和所述语义关联词作为用于检测不良文本的关键词；

不良文本判断单元，其在网页文本在宽带环境中传输的情况下，统计每个网页文本中所述语义关联词扩展单元得到的关键词的出现次数，并根据所述出现次数确定属于不良文本的网页文本。

8.根据权利要求7所述的装置，其特征在于，所述种子词为N个，N为整数且N≥2，所述语义关联词扩展单元具体用于：

获取含有不良信息的训练文档；

将所述训练文档中的每个词转换为词向量形式的待训练词向量，并将所述种子词获取单元获取的种子词转换为词向量形式的种子词向量，所述待训练词 向量与所述种子词向量位于同一词向量空间中；

计算所述每个所述待训练词向量与每个所述种子词向量之间的余弦距离；

在所述词向量空间中，以N个所述种子词向量作为初始质心，利用K-means聚类算法对所述待训练词向量进行聚类，得到K个词向量簇，每个所述K个词向量簇分别具有一个聚类质心，其中K为正整数且K≤N；

对所述聚类质心距所述种子词向量的余弦距离最小的所述词向量簇，确定其中的所述待训练词向量对应的词，并将所确定的词作为与该种子词向量对应的所述种子词的所述语义关联词。