[发明专利]一种基于多维数据异常簇挖掘的垃圾网页检测方法

权利要求书

1.一种基于多维数据异常簇挖掘的垃圾网页检测方法，其特征在于：

1)利用网页蜘蛛采集网页的内容和链接信息，根据网页链接结构计算网页的邻居属性，并根据邻居属性将网页表示成为多维数据集合。

2)根据步骤1)得到多维网页数据，首先进行属性间的独立性分析，计算所有属性之间彼此独立的程度，找到所有最大独立属性集合，再根据这些最大独立属性集合把原始的多维数据转换成若干个多维数据子集，其中每个子集的维度都小于原始维度；

3)根据步骤2)得到的每个网页子集，首先将网页根据其在各个维度上的属性值排序，得到网页序列，对于任何一个网页数据簇，定义其离群因素，根据这个离群因素，设计至下而上的算法，先找出包含1个网页的多维异常簇，再找出包含2个网页的多维异常簇，直到某个用户指定的垃圾网页数目的边界值，返回这个数据子集中的最异常的网页簇即垃圾网页簇；

4)从步骤3)得到的垃圾网页簇中，根据垃圾网页在各自子集中的异常度的大小找出原始多维数据中的最异常的垃圾网页集合，最后返回最异常的垃圾网页集合以及对应的离群因素。

2.根据权利要求1所述的基于多维数据异常簇挖掘的垃圾网页检测方法，其特征在于步骤1)中的邻居属性的计算方法为：对于给定的网页e，e的邻居集合NBR(e)及任意网页内容或链接属性f，邻居属性定义为：NDS(f，e)＝Median_{e′，e″∈NBR(e)，e′≠e，e″≠e}|e′.f-e″.f|

其中e.f代表网页e的对于属性f的属性值。

3.根据权利要求1所述的基于多维数据异常簇挖掘的垃圾网页检测方法，其特征在于步骤3)中提到的离群因素包括属性极端带和相对于属性极端带的离群事件发生的概率既异常度，离群因素用来解释异常簇的异常原因，即任何网页成为垃圾网页的原因。

4.根据权利要求3所述的基于多维数据异常簇挖掘的垃圾网页检测方法，其特征在于属性极端带r包括邻居属性f，大小m和极端标志θ；m的取值范围是0到|E|/2，其中E是所有数据点的集合，θ的取值是前端T和后端B；给定一个数据簇S和所有邻居属性集合F，异常度的定义为：Ω(S，F)＝-∑_f∈Flog p(S，r(S，f))

其中，r(S，f)＝argmin_r∈R(f)p(S，r)是f的所有极端带R(f)中，使p(S，r)值最小的极端带，其中

p(S,r)=Σk′=kmin(r.m,|S)prob(k′|E|,r.m,|S|)]]>

其中prob(k,|E|,m,|S|)=mCk·|E|-mCn-k|E|C|S|=m!(|E|-m)!|S|!(|E|-|S|)!k!(m-k)!(|S|-k)!(|E|-m-|S|+k)!|E|!]]>