[发明专利]一种网页链接特征模式识别算法

权利要求书

1.一种网页链接特征模式识别算法，其特征在于：该算法立足于自动的对蜘蛛采集到的网页进行链接模式分析。经过树形的架构之后生成初步的基于链接层级的模式树，并对模式树进行类型的判断。再根据基于正则表达式的替换生成进一步的链接模式。

算法步骤：

1、首先对需要识别的目标网站进行无差别的站内采集。

2、对于少数规模庞大的网站，采集深度到3或者指定数据的网页数即可。理论上数量越多，识别的准确率越高。

3、提取出所有页面的链接，并对链接出现次数进行统计。

4、出现次数最多的网页链接初步标注为导航链接。

5、对所有链接进行归类，归类的条件是网页链接的层次。

6、归类的目标是生成一棵网站链接树，顺序是从域名一级一级向右推。

7、对网站链接树进行遍历，判断叶子节点类型。判断方法为，如果页面链接很多，但是文本很少，则忽略。如果文本很多，则判断为内容型链接。

8、对所有叶子节点判断完向上依次归并。如果所有子节点都为同类型，则判断该父节点为该类型。如果同时拥有多个，则判断中断。

9、对所有判断完毕为内容节点的链接进行模式替换，如全部为数字则全部替换为/d+，为英文加数字则替换为[/da-zA-Z]，替换规则参考正则表达式。

10、新采集一批网页，对提取出来的模式进行二次验证。验证通过的模式直接保存。