[发明专利]用于抽取网页图文块的方法和装置

摘要

本申请公开了用于抽取网页图文块的方法和装置。该方法的一具体实施方式包括：从待处理网页的文档对象模型中提取出图片节点；基于预设的过滤规则对图片节点进行过滤，得到候选图片节点；对每一个候选图片节点，在预设的最大遍历深度范围内依次向候选图片节点的祖先节点遍历，直到遍历至带有文本的祖先节点，作为候选图片节点对应的候选图文块，并生成候选图文块的路径信息；基于各候选图文块的路径信息的哈希值对各候选图文块进行聚簇；对每个图文块簇，基于各候选图文块的路径信息确定图文块簇内的各候选图文块的共同祖先节点，基于共同祖先节点确定图文块簇的路径信息。该实施方式提升了网页图文块的抽取效率。

主权项

一种用于抽取网页图文块的方法，其特征在于，所述方法包括：从待处理网页的文档对象模型中提取出图片节点；基于预设的过滤规则对所述图片节点进行过滤，得到候选图片节点；对每一个候选图片节点，在预设的最大遍历深度范围内依次向所述候选图片节点的祖先节点遍历，直到遍历至带有文本的祖先节点，作为所述候选图片节点对应的候选图文块，并依据所述候选图文块在所述文档对象模型中的位置生成所述候选图文块的路径信息；基于各所述候选图文块的路径信息的哈希值对各所述候选图文块进行聚簇，得到至少一个图文块簇；对每个图文块簇，基于各候选图文块的路径信息确定所述图文块簇内的各候选图文块的共同祖先节点，基于所述共同祖先节点确定所述图文块簇的路径信息。