[发明专利]基于DOM树的页面分块方法、装置、设备及存储介质

权利要求书

1.一种基于DOM树的页面分块方法，其特征在于，所述基于DOM树的页面分块方法包括：

对待分块网页进行去噪处理，根据去噪后的网页生成DOM树；

获取所述DOM树上各节点的节点路径，计算各节点路径的相似度，根据所述相似度对各节点进行聚类，并生成聚类结果；

根据所述聚类结果对所述待分块网页进行分块；

其中，所述获取所述DOM树上各节点的节点路径，计算各节点路径的相似度，根据所述相似度对各节点进行聚类，并生成聚类结果，具体包括：

获取所述DOM树上各节点到根节点的路径，将各路径作为各节点路径；

获取各节点对应的标签信息，根据所述标签信息和各节点路径计算各节点路径的相似度；

根据各相似度对各节点进行聚类，并生成聚类结果；

其中，所述获取各节点对应的标签信息，根据所述标签信息和各节点路径计算各节点路径的相似度，具体包括：

获取各节点对应的标签信息，对所述标签信息进行分析，获得公共标签长度和各节点的标签序列长度；

根据所述公共标签长度、所述标签序列长度和所述节点路径计算各节点路径的相似度；

其中，所述根据所述公共标签长度、所述标签序列长度和所述节点路径计算各节点路径的相似度，具体包括：

从所述公共标签长度中筛选出任意两节点以根节点为起点的最长公共标签，将所述最长公共标签的长度作为目标公共标签长度；

通过下式根据所述目标公共标签长度、所述标签序列长度和所述节点路径计算各节点路径的相似度：

其中，sim(P_i,P_j)为两个节点路径P_i和P_j的相似度，节点i对应的节点路径为P_i，且P_i＝(ti₁,ti₂,...,ti_n)；节点j对应的节点路径为P_j，且P_j＝(tj₁,tj₂,...,tj_n)；label(P_i,P_j)为所述目标公共标签长度，state(P_i,P_j)为两个节点路径P_i和P_j在位置上一样时的节点长度，len(P_i)和len(P_j)分别为节点路径P_i和P_j的标签序列长度。

2.如权利要求1所述的基于DOM树的页面分块方法，其特征在于，所述对待分块网页进行去噪处理，根据去噪后的网页生成DOM树，具体包括：

根据预设网页清洗规则对待分块网页中的目标代码进行清洗，获得预设格式的HTML文档；

对所述HTML文档进行识别，获得所述HTML文档中的噪音标签；

将所述噪音标签从所述HTML文档中过滤，根据过滤后的HTML文档确定各节点，并根据各节点构建DOM树。

3.如权利要求1所述的基于DOM树的页面分块方法，其特征在于，所述根据各相似度对各节点进行聚类，并生成聚类结果，具体包括：

获取各节点对应的各相似度之间的相似度差值；

将所述相似度差值与预设相似度阈值进行比较；

将所述相似度差值小于所述预设相似度阈值的节点路径对应的节点归为一类，直至各节点都聚类完毕，生成聚类结果。

4.如权利要求1-3中任一项所述的基于DOM树的页面分块方法，其特征在于，所述根据所述聚类结果对所述待分块网页进行分块，具体包括：

根据所述聚类结果中的各类别分别对所述待分块网页进行划分，获得多个初始网页块；

判断所述聚类结果中各类别的节点中是否存在兄弟节点的节点；

在各类别的节点中存在兄弟节点的节点时，将互为兄弟节点的节点融合到同一网页块中，将融合后的网页块和未融合的初始网页块作为所述待分块网页的最终网页块。