[发明专利]一种基于文本主题的网页暗链检测方法和装置

权利要求书

1.一种基于文本主题的网页暗链检测方法，其特征在于，包括：

获取待检测网页，并基于所述待检测网页的文本信息构建LDA文档，其中，所述LDA文档中包含所述待检测网页的文本信息经过分词处理之后得到的分词集合；

基于所述LDA文档，构建目标矩阵，其中，所述目标矩阵为基于所述待检测网页的文本信息的分词合集和所述待检测网页的文本信息的主题构建的矩阵；

基于所述目标矩阵，确定出所述待检测网页的文本信息的语义特征和所述待检测网页的文本信息的统计特征；

将所述待检测网页的文本信息的统计特征和所述待检测网页的文本信息的语义特征输入分类器，以确定所述待检测网页中是否存在网页暗链；

其中，基于所述待检测网页的文本信息构建LDA文档，包括：

对所述待检测网页的文本信息进行编码，得到所述待检测网页的第一目标文本；

删除所述待检测网页的第一目标文本中的目标字符，得到所述待检测网页的第二目标文本，其中，所述目标字符包含以下至少之一：预设停用词，标点符号；

对所述待检测网页的第二目标文本进行分词处理，得到所述待检测网页的分词集合M_j，将所述分词集合M_j确定为所述LDA文档，其中，M_j＝{w_i|i＝1,2.....，n}，w_i为所述第二目标文本中的第i个分词，n为所述第二目标文本包含的分词的数量；

其中，所述语义特征包括以下至少之一：任意两个主题之间的语义相似度，主题词汇分布倾斜度；

基于所述目标矩阵，确定出所述待检测网页的文本信息的语义特征和所述待检测网页的文本信息的统计特征，包括：

基于所述目标矩阵，确定出所述待检测网页的文本信息的主题分布集合Z(x)，其中，Z(x)＝{x₁，x₂，...x_k}，k为所述待检测网页的文本信息的主题的数量；

结合预设算法和所述主题分布集合Z(x)，计算出所述待检测网页的文本信息中任意两个主题之间的语义相似度，其中，预设算法为sim(x_p，x_q)为主题x_p和主题x_q之间的语义相似度，sim(w_v，w_u)为分词w_v和分词w_u之间的语义相似度，表示主题x_p包含的分词的数量，主题x_q包含的分词的数量，φ(w_v|x_p)表示分词w_v为主题x_q包含的分词的概率，φ(w_u|x_q)表示分词w_u为主题x_q包含的分词的概率；

结合所述目标矩阵、所述主题分布集合Z(x)和KL散度算法，计算出所述待检测网页的文本信息的KL散度值，并将所述KL散度值确定为所述主题词汇分布倾斜度；

基于所述目标矩阵确定出所述统计特征。

2.根据权利要求1所述的方法，其特征在于，所述统计特征包括以下至少之一：标题词汇数量，关键词原标签词汇数量，锚文本数量，网页压缩率，所述待检测网页中无标记文本的长度与所述待检测网页的文本信息的总长度之间的比值。

3.根据权利要求1所述的方法，其特征在于，基于所述LDA文档，构建目标矩阵，包括：

将所述LDA文档输入文本主题模型，得到所述目标矩阵，其中，所述目标矩阵包括以下至少之一：所述LDA文档的主题矩阵，每个主题对应的分词构建的矩阵。