[发明专利]一种网页正文内容提取方法和装置

摘要

本发明公开了一种网页正文内容提取方法和装置，其中，该方法包括将待提取的网页文档解析成文档对象模型树结构，将网页对应的文档对象模型树的叶子节点组成节点集合；查找节点集合中层数最深的叶子节点在文档对象模型树中对应的父节点；将叶子节点归并到所述父节点，将具有相同父节点的叶子节点归并；若归并后的节点集合中的叶子节点满足设定条件，将叶子节点所包含的区域确定为网页正文内容所在区域；在确定的网页正文内容所在区域中去除网页标签，提取网页正文内容。本发明能够迅速有效的定位HTML页面中正文所在的区域，并将其与噪音内容分离出来，提高获取正文内容信息的效率。

主权项

一种网页正文内容提取方法，其特征在于，包括：将待提取的网页文档解析成文档对象模型树结构，将网页对应的文档对象模型树的叶子节点组成节点集合；查找所述节点集合中层数最深的叶子节点在所述文档对象模型树中对应的父节点；将所述叶子节点归并到所述父节点，将具有相同父节点的叶子节点归并；若归并后的所述节点集合中的叶子节点满足设定条件，将所述叶子节点所包含的区域确定为网页正文内容所在区域；在确定的所述网页正文内容所在区域中去除网页标签，提取网页正文内容；所述若归并后的所述节点集合中的叶子节点满足设定条件，将所述叶子节点所包含的区域确定为网页正文内容所在区域具体还包括：若所述具有相同父节点的叶子节点归并后的节点数量大于1，在所述叶子节点数量满足设定阈值的状态下，则计算归并后节点集合中各叶子节点在所述文档对象模型树中所包含的文本长度，将文本长度最长的叶子节点所包含的区域确定为网页正文内容所在区域；所述叶子节点数量满足设定阈值具体包括：所述叶子节点数量满足M2<(M1/y)，其中，所述M1为归并前的叶子节点总数，所述M2为归并后的叶子节点总数，y为设定值。