[发明专利]基于锚文本回溯链的网页主题分析方法有效
申请号: | 201410634936.X | 申请日: | 2014-11-12 |
公开(公告)号: | CN105589892B | 公开(公告)日: | 2019-01-18 |
发明(设计)人: | 张琦;尹亚伟;张上誉 | 申请(专利权)人: | 中国银联股份有限公司 |
主分类号: | G06F16/953 | 分类号: | G06F16/953;G06F17/27 |
代理公司: | 中国专利代理(香港)有限公司 72001 | 代理人: | 方世栋;汤春龙 |
地址: | 200135 上海*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 文本 回溯 网页 主题 分析 方法 | ||
1.一种基于锚文本回溯链的网页主题分析方法,所述基于锚文本回溯链的网页主题分析方法包括下列步骤:
(A1)在确定待搜索的目标主题之后,搜索引擎触发网页追逐器在由HTML文档借助于超链接组成的网络上行进以形成行进链;
(A2)基于所述行进链,所述网页追逐器针对每个当前正经过的网页形成锚文本回溯链;
(A3)所述搜索引擎基于所形成的锚文本回溯链分析当前正经过的网页的主题,在(A3)中,将锚文本回溯链中的每个锚文本与所述目标主题的相关度的值的平均值与预定的阈值相比较,如果所述平均值小于所述阈值,则判定当前正经过的网页的主题与所述目标主题相关,否则,判定当前正经过的网页的主题与所述目标主题不相关,
其中,所述锚文本回溯链包含到达当前正经过的网页时所述网页追逐器最近N次行进所历经的每个超链接所对应的锚文本的信息,其中,N是预先设定的回溯链最大路径长度。
2.根据权利要求1所述的基于锚文本回溯链的网页主题分析方法,其特征在于,所述步骤(A2)进一步包括:通过记录和回溯所述网页追逐器所形成的行进链上的每个超链接所对应的锚文本的信息来形成所述锚文本回溯链。
3.根据权利要求2所述的基于锚文本回溯链的网页主题分析方法,其特征在于,所述步骤(A2)进一步包括:所述网页追逐器在行进过程中不断记录所经过的超链接对应的锚文本的信息,并且在到达新的超链接时,将上个超链接所对应的锚文本回溯链中的最远一个锚文本的信息去掉,并同时将当前的新的超链接所对应的锚文本的信息添加到锚文本回溯链中,以形成与当前的新的超链接对应的锚文本回溯链。
4.根据权利要求3所述的基于锚文本回溯链的网页主题分析方法,其特征在于,所述搜索引擎以如下方式分析当前正经过的网页的主题:(1)从当前正经过的超链接所对应的锚文本的信息出发遍历该超链接对应的锚文本回溯链,以计算该锚文本回溯链中的每个锚文本与所述目标主题的相关度的值;(2)计算该锚文本回溯链中的每个锚文本与所述目标主题的相关度的值的平均值,并且基于该平均值确定当前正经过的网页的主题是否与所述目标主题相关。
5.根据权利要求4所述的基于锚文本回溯链的网页主题分析方法,其特征在于,以如下公式计算锚文本回溯链中的每个锚文本与所述目标主题的相关度的值的平均值:
其中,Wi为锚文本回溯链中第i个锚文本与目标主题的相关度的值,N为预先设定的回溯链最大路径长度。
6.根据权利要求5所述的基于锚文本回溯链的网页主题分析方法,其特征在于,通过计算锚文本和所述目标主题的特征词之间的语义相似度来计算锚文本回溯链中的每个锚文本与目标主题的相关度的值,其中,以如下公式计算锚文本和目标主题的特征词之间的语义相似度:
其中λ是可调节的参数,Dis(C1,C2)表示两个词语C1和C2在语义字典中的距离。
7.根据权利要求6所述的基于锚文本回溯链的网页主题分析方法,其特征在于,通过计算锚文本与目标主题的特征词库中的所有特征词之间的语义相似度并取用最大值作为该锚文本与目标主题的相关度的值,其中,以如下公式计算锚文本回溯链中第i个锚文本Ki与目标主题的相关度的值:
其中,Wi为锚文本回溯链中第i个锚文本与目标主题的相关度的值,Tj为目标主题的特征词库中第j个特征词,K为目标主题的特征词库的大小,λ是可调节的参数,Dis(Ki,Tj)表示两个词语Ki和Tj在语义字典中的距离。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国银联股份有限公司,未经中国银联股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201410634936.X/1.html,转载请声明来源钻瓜专利网。
- 上一篇:数据可视化实现系统及方法
- 下一篇:管理应用节点的方法、系统及汇总节点