[发明专利]一种网页评论内容的抽取方法

摘要

一种网页评论内容的抽取方法，包括以下步骤：获取网页源码；将网页源码转换成DOM树结构，基于位置、文本长度和布局特征对DOM树进行剪枝预处理；通过深度加权子树相似度算法抽取最佳频繁子树；通过树的一致性对齐方法求出最小评论区域，然后通过路径文本长度抽取最频繁评论路径并提取评论内容。本申请降低了时间复杂度，提高了抽取效率和抽取的准确率，且人工干预少，抽取过程全自动，适应范围广，不用构造抽取模板，无需考虑网页结构变更带来模板更新的麻烦。

主权项

1.一种网页评论内容的抽取方法，其特征在于：包括以下步骤：获取网页源码；将网页源码转换成DOM树结构，基于位置、文本长度和布局特征对DOM树进行剪枝预处理；通过深度加权子树相似度算法抽取最佳频繁子树，具体包括：建立深度加权树，设定深度权重的叶子节点权值为1，逐层向上的父亲节点深度依次加1；以树节点的标签作为关键词，用相同标签的权值总和作为向量坐标，利用余弦向量算法构建节点相似度算法，计算节点相似度；从根节点层次遍历整棵DOM树，计算当前节点的相似度值sim(R)，再计算其所有孩子节点的相似度值，其中，所述当前节点的相似度值sim(R)的计算式为：其中，xi表示子树T1的节点标签向量，yi表示子树T2的节点标签向量，wxi和wyi分别表示xi和yi的权值，m表示根节点R的孩子节点个数，Ti,Tj分别表示R的两颗孩子子树，叶子节点的相似度值为0，只有一个孩子节点满足其父亲节点的相似度值等于其孩子节点的相似度值；判断根节点的相似度值是否同时满足既大于预置的相似度阈值又大于其所有孩子节点的相似度值；若满足，停止遍历，此时该根节点的所有孩子节点构成的孩子子树即为最佳频繁子树；通过树的一致性对齐方法求出最小评论区域，然后通过路径文本长度抽取最频繁评论路径并提取评论内容。