[发明专利]一种采用迭代式朴素贝叶斯分类器判定深网查询接口的方法

权利要求书

1.一种采用迭代式朴素贝叶斯分类器判定深网查询接口的方法，其特征在于，包括下列步骤：

1）从获取到的网页中提取出网页表单，再从网页表单中提取出所有的表单元素属性；

2）运用启发式判定规则、结合步骤1）中提取的网页表单以及网页表单中的表单元素属性，对获取到的网页进行判定，将判定结果中不属于深网查询接口的网页直接排除，其中所述启发式判定规则是利用事先归纳的不符合深网查询接口的特征与某网页进行比对、如该网页中含有事先归纳的不符合深网查询接口的特征则判定该网页不属于深网查询接口的规则；

3）利用迭代式朴素贝叶斯分类器对步骤2）中未被排除的网页进行判定，其中该迭代式朴素贝叶斯分类器通过采用Adaboost迭代算法将多个朴素贝叶斯分类器集合而获得；

4）依据步骤3）中的判定结果得出网页是否属于深网查询接口。

2.根据权利要求1所述的一种采用迭代式朴素贝叶斯分类器判定深网查询接口的方法，其特征在于，所述启发式判定规则包括：如果网页中没有出现<FORM>标签或有<FORM>标签但没有TEXT控件，或者网页表单中含有PASSWORD控件，或者网页表单中含有TEXTAREA控件，或者网页表单中只有一个TEXT控件同时伴随着出现“搜索”、“高级搜索”、“search”、“query”的关键词且TEXT控件的maxlength属性值大于等于100，或者网页表单中的控件总数少于三个，或者网页代码文件头中出现的<title></title>标记中的内容，则判定该网页不属于深网查询接口。

3.根据权利要求1所述的一种采用迭代式朴素贝叶斯分类器判定深网查询接口的方法，其特征在于，所述通过采用Adaboos t迭代算法将多个朴素贝叶斯分类器集合而获得迭代式朴素贝叶斯分类器的过程为：

首先，将事先获取的深网查询接口网页和非深网查询接口网页组成样本集，其中深网查询接口网页数量占样本总数的45%-55%，设X为样本空间，Y为样本类别标识集合，Y＝{-1,+1}，则S＝{{x_i,y_i}|i＝1,2,…,m}形成样本训练集，其中x_i∈X，y_i∈Y，m为样本个数；

然后，进行多轮迭代获得迭代式朴素贝叶斯分类器，设T为总的迭代次数，t代表每轮迭代的次数，t=1,2，...,T，D_t代表每轮迭代时的样本分布，D_t(i)代表在第t轮迭代时的样本(x_i,y_i)的权值，并将第一轮迭代时的样本(x_i,y_i)的权值D₁(i)初始化为则在每轮迭代开始时先根据每轮迭代时的样本(x_i,y_i)的权值D_t(i)对样本训练集S进行随机抽样并以抽取的样本组成训练集S_t、接着在训练集S_t训练出每轮的朴素贝叶斯分类器h_t(x)，此时若该轮迭代次数t不等于总的迭代次数T，则利用每轮的朴素贝叶斯分类器h_t(x)对样本训练集S中的所有样本进行分类并产生每轮的误差再按公式（1）计算出下一轮迭代时的样本(x_i,y_i)的权值并进行下一轮迭代，若该轮迭代次数t等于总的迭代次数T，则按公式（2）计算出最终的迭代式朴素贝叶斯分类器，

Dt+1(i)=Dt(i)Zt×e-αt,ifht(xi)=yieαt,ifht(xi)≠yi---(1)]]>

=Dt(i)exp(-αtyiht(xi))Zt]]>

H(x)=sign(Σt=1Tαtht(x))---(2)]]>

其中，公式（1）、公式（2）中，αt=121n(1-ϵtϵt),]]>Zt=ϵt(1-ϵt),]]>D_t+1(i)为下一轮迭代时的样本(x_i,y_i)的权值，H(x)为最终的迭代式朴素贝叶斯分类器。

4.根据权利要求3所述的一种采用迭代式朴素贝叶斯分类器判定深网查询接口的方法，其特征在于，所述总的迭代次数T为10。