[发明专利]一种基于深度信念网络算法的不良网页智能检测方法

摘要

本发明公开了一种基于深度信念网络算法的不良网页智能检测方法，包括以下步骤；构建判别指标的层次结构模型：为丰富网页特征的种类，更加精确的识别不良网页，提取了网页的内容、链接、质量和隐藏特征并建立了相应的不良网页判别指标体系；不良网页判别指标样本集；基于SMOTE算法的指标集平衡化处理；提取了网页的内容、链接、质量和隐藏特征并建立了相应的不良网页判别指标体系，来对不良网页判别指标进行约简，先采用SMOTE技术对样本数据集进行平衡处理操作，使分类器的分类效果不受样本数据集中多数类样本的影响，提出采用DBN作为分类器，并将处理后的样本作为分类器的输入来得到检测结果，验证了该分类器的高效性。

主权项

1.一种基于深度信念网络算法的不良网页智能检测方法，其特征在于，包括以下步骤；S1：构建判别指标的层次结构模型：为丰富网页特征的种类，更加精确的识别不良网页，提取了网页的内容、链接、质量和隐藏特征并建立了相应的不良网页判别指标体系；S2：不良网页判别指标样本集；S3：基于SMOTE算法的指标集平衡化处理；S31：过抽样技术中有一个重要的概念，称为过抽样倍率，在此我们用N来表示它，该概念是指从每个不良网页样本的最邻近的K个样本中任意挑选出N个样本；S32：按照下列公式的方式，将上述选取的N个样例与少数类样本分进行结合生成N个新的少数类样本。xnew＝x+rand*(y[i]‑x)，     (2‑1)其中，i＝1，2，…，N；使用x表示少数类样本；用rand来表示0到1之间的任意一个数；用xnew代表增加的新样本；用y[i]表示x的第i个临近的样本；S33：将通过上式计算得到的新样例加入到原始数据集中，从而得到新的数据集；S4：提出采用DBN作为分类器，DBN的最重要的两个过程是预训练和调优，并将处理后的样本作为分类器的输入来得到检测结果；S41：预训练的本质是参数初始化，需要初始化各层的神经元偏置及各层之间的连接权值，使用CD算法来初始化RBM层的相关参数，并使用有标记的数据样本作为输入；S42：调优通过预训练过程，每一层RBM将会获得相应的初始参数，预训练过程结束后，就可以对由多层RBM构建的DBN进行调优，在调优过程中，借助有标签样本，并采用BP神经网络来对DBN进行整体微调，从而获得最优的网络；S5：评估指标；精确度(Pre)，召回率(Rec)，F1测度(F1)，Kappa值和曲线下面积(AUC)；S6：实验结果及分析；S61：DBN的隐含层节点的数量，及其RBM的层数对不良网页的分类结果所能产生的影响；S62：不同的预训练集样本的数量对不良网页分类结果所能产生的影响。S63：预处理操作对分类结果所能产生的影响；S64：基于DBN的分类方法与其他两种典型不良网页分类方法的比较；S7：基于深度学习算法的不良网页检测系统的设计；S71：系统的设计原则；S72：系统的功能结构；S73：系统的结构设计；S74：系统的数据库设计。