[发明专利]一种自动抽取列表页的方法

权利要求书

1.一种自动抽取列表页的方法，其特征在于：包括以下步骤：

(1)dom树的生成：获取待采集网站的网页源码；将所述网页源码解析成dom树；根据dom树进行前序遍历，记录所述dom树中各叶子元素的节点路径；提取并保存带有文字的元素节点路径；

(2)获取步骤(1)中提取的带有文字的元素节点的位置信息，根据所述元素节点的位置信息进行打分，并滤除不符合列表页视觉可能性的元素节点；

(3)根据节点路径的相似度和与符合列表页信息约束条件的节点特征的相似度判断多个节点之间是否具有相似指纹，将具有相似指纹的节点分类聚合，其中，所述列表页信息至少包括标题和地址链接，所述相似指纹是指不同的节点之间均符合构成列表页信息的某个约束条件；

(4)将具有多个相似指纹且所述相似指纹能够构成完整列表页信息的多个节点分类聚合成节点块，构成列表页的深度指纹；

(5)从所述列表页的深度指纹中提取标题和地址链接的相似指纹；

(6)抽取列表页，将封装结果返回；

步骤(3)中符合列表页信息约束条件的节点特征包括节点属性标签和节点文本信息标签，其中，所述节点属性标签相似度与所述节点属性的方差成反比，则所述节点属性的方差：

其中，a表示单个节点的属性向量，b表示该类下的所有节点平均属性向量；

所述节点文本信息的相似度与文本字数的方差成反比，则所述节点文本字数的方差：

其中，表示所有节点中文字信息的词的平均密度，n表示节点数量。

2.如权利要求1所述的一种自动抽取列表页的方法，其特征在于：步骤(2)具体包括：

(2.1)采集html网页的css和js文件，获取所述节点的位置信息；

(2.2)计算每个网页解析后的dom树的元素节点的像素位置；

(2.3)判断所述元素节点是否符合列表页视觉可能性，具体包括：若所述元素节点是隐藏节点，所述元素节点是无效节点；若所述元素节点的像素位置距离网页左边和顶部的距离像素小于设置的阈值，所述元素节点是无效节点；所述元素节点的像素位置与所述网页的的中心点的距离越远，所述元素节点的分值越低，所述元素节点的分值与列表页的抽取精度相关。

3.如权利要求1所述的一种自动抽取列表页的方法，其特征在于：步骤4还包括：

(4.1)计算节点路径前置深度比例，即节点深度指纹所组成的节点块共同的节点路径长度占最长节点路径长度的比例：

(4.2)为深度指纹聚合的节点块打分、排序，计算最有可能是列表页的深度指纹，所述节点块的分值：

f(x)＝ratio(节点前置路径比例)×∑σσ(word)αi；

其中，αi是衰减系数。

4.如权利要求1所述的一种自动抽取列表页的方法，其特征在于：步骤(5)中，所述标题的指纹是指符合所述标题约束条件的特征，提取符合所述标题约束条件的相似指纹，以获取标题文字。

5.如权利要求1所述的一种自动抽取列表页的方法，其特征在于：还包括设置列表页抽取规则，以及通过所述抽取规则抽取列表页的步骤。