[发明专利]基于动态贝叶斯模型的网页垃圾检测方法

摘要

基于动态贝叶斯模型的网页垃圾检测方法涉及一种作弊网页检测的方法，主要采用一种改进的动态贝叶斯网络模型为用户点击行为建模，对作弊网页进行判断和识别，搜索引擎查询日志记录了用户与搜索引擎的交互信息。它的内容包括查询词、搜索引擎返回的网址、用户点击的网址以及时间戳等信息。日志中被点击的网址及其点击顺序等信息反映了用户的喜好。本发明为日志点击行为建模，挖掘搜索引擎返回列表序列中网址之间的点击因果关系，从用户的角度说明了哪些网址是用户认为和查询词相关联的，得到从用户角度出发的网页与查询的相关性，它是一种隐含的回馈，从而使作弊网页的排名位置靠后，而相关网页的排名则靠前了。

主权项

1.一种基于动态贝叶斯模型的网页垃圾检测方法，其特征在于该方法分为三大部分：一.日志分析步骤11)收集网页点击日志；步骤12)对日志内容进行分析，提取其中的用户身份标识号码、查询词、结果排名、是否被点击、网址等信息；步骤13)按照每个查询词下所有的用户身份标识号码的个数进行降序排列，编号为0，1，2……；步骤14)对于每个查询词，以其对应的网址编号和是否被点击建立会话文件，二.采用期望最大化算法计算吸引度a_u和满意度s_u步骤21)初始化吸引度a_u和满意度s_u；步骤22)由条件独立性可推导出事件A_i，S_i的后验概率，Q(Aij):=Σe∈{0,1}Σe′∈{0,1}Σs∈{0,1}αi(e)βi+1(e′)P(Ei+1=e′|Sij=s)P(Sij=s|Cij)P(Cij|Aij,Eij=e)P(Aij)Σe∈{0,1}αi(e)βi(e)]]>公式7Q(Sij):=Σe∈{0,1}Σe′∈{0,1}αi(e)βi+1(e′)P(Ei+1=e′|Sij)P(Sij|Cij)P(Cij|Ei=e)Σe∈{0,1}αi(e)βi(e)]]>公式8其中，α_i(e)，β_i(e′)表示前项后项公式；表示用户是否检查返回结果列表中第j个会话的第i个网址的摘要；变量表示用户是否点击返回结果列表中第j个会话的第i个网址；表示第j个会话的第i个网址的满意度的二值变量；表示第j个会话的第i个网址的吸引度的二值变量；表示满意的情况下点击与否的概率；表示点击情况下，满意与否的概率；表示在条件和下发生的条件概率；表示浏览摘要与否E_i＝e的情况下点击发生的概率；步骤23)通过最大化后验概率更新吸引度a_u和满意度s_uau=argmaxaΣj=1NΣi=1MI(dij=u)(Q(Aij=0)log(1-a)+Q(Aij=1)log(a))+P(a)]]>公式9su=argmaxsΣj=1NΣi=1MI(dij=u)(Q(Sij=0)log(1-s)+Q(Sij=1)log(s))+P(s)]]>公式10其中，表示第j个会话的第i个位置的网址；u表示网页地址；I为示性函数，即满足括号内的等式为1，不满足括号内的等式为0；P(a)和P(s)表示a和s的先验贝塔分布；a＝Ｐ(C_i＝1E_i＝1)，表示用户检查了第i个网址的摘要的条件下点击的概率；s＝P(S_i＝1|C_i＝1)，表示用户点击了第i个网址，阅读内容后满意的概率；步骤24)以步骤23)得到的吸引度a_u和满意度s_u重复步骤22)、步骤23)；步骤25)迭代20次后，对网页是否为作弊网页进行预测，即迭代后的吸引度a_u、满意度s_u大于等于选定的阈值为正常网页，小于选定的阈值为作弊网页；三.进行验证步骤31)让10个志愿者根据自己的判断在返回列表的网址中前10个网址找出作弊的网页，认为作弊的打分为1，不是作弊为-1，无法判断为0；得分最高的3个网页作为查询的作弊网页；步骤32)通过提出的评价指标中的查准率、召全率、作弊度，来验证本发明提出的方法。