[发明专利]一种基于URL和网页文档结构的相似性的网页内容提取方法

摘要

本发明涉及一种基于URL和网页文档结构的相似性的网页内容提取方法，包括下述步骤：1)相似性的判断：URL相似度计算，DOM相似度计算，URL相似度和DOM结构的相似度计算两个网页的相似度在是否在预先设定的阈值范围内，在所述计算两个网页的相似度的步骤中，2)相似性的网页内容提取：判断两个网页为相似，提取两个网页的共有的DOM结构；网页信息提取步骤，在所述DOM结构提取步骤中已提取的共有DOM结构中提取相似网页对应信息，这样能够提升相似页面信息抽取效率和精度。

主权项

1.一种基于URL和网页文档结构的相似性的网页内容提取方法，其特征在于，包括下述步骤：1)相似性的判断：URL相似度计算步骤，在所述计算两个网页的相似度的步骤中，根据以下公式1来计算：公式1：page_Cos＝X1*url_Cos+X2*dom_Cos其中，page_Cos表示是两个网页的相似度，url_Cos表示两个网页的URL的相似度，dom_Cos表示两个网页的DOM结构的相似度，X1，X2表示两种相似度因素的权重，并且X1+X2＝1，来计算两个网页的URL相似度，URL的相同前缀包含的目录深度占总路径深度的比例表示URL的相似度；DOM结构相似度计算步骤，从根节点出发，深度遍历每个子节点，比较对应叶子节点来的类型；如果对应叶子节点的类型一致，则相似度为1，否则为0；将所有叶子节点的相似度均值作为两个网页的相似度，来计算两个网页DOM结构的相似度；网页相似度计算步骤，基于URL相似度和DOM结构的相似度计算两个网页的相似度；网页相似性判断，将计算出的网页的相似度与预定设定的阈值范围进行比较，如果在预先设定的阈值范围内则判断两个网页为相似；2)相似性的网页内容提取：判断两个网页为相似，提取两个网页的共有的DOM结构；网页信息提取步骤，在所述DOM结构提取步骤中已提取的共有DOM结构中提取相似网页对应信息。