[发明专利]一种网页评论内容的抽取方法

权利要求书

1.一种网页评论内容的抽取方法，其特征在于：包括以下步骤：

获取网页源码；

将网页源码转换成DOM树结构，基于位置、文本长度和布局特征对DOM树进行剪枝预处理；

通过深度加权子树相似度算法抽取最佳频繁子树，具体包括：

建立深度加权树，设定深度权重的叶子节点权值为1，逐层向上的父亲节点深度依次加1；

以树节点的标签作为关键词，用相同标签的权值总和作为向量坐标，利用余弦向量算法构建节点相似度算法，计算节点相似度；

从根节点层次遍历整棵DOM树，计算当前节点的相似度值sim(R)，再计算其所有孩子节点的相似度值，其中，所述当前节点的相似度值sim(R)的计算式为：

其中，x_i表示子树T1的节点标签向量，y_i表示子树T2的节点标签向量，w_xi和w_yi分别表示x_i和y_i的权值，m表示根节点R的孩子节点个数，T_i,T_j分别表示R的两颗孩子子树，叶子节点的相似度值为0，只有一个孩子节点满足其父亲节点的相似度值等于其孩子节点的相似度值；

判断根节点的相似度值是否同时满足既大于预置的相似度阈值又大于其所有孩子节点的相似度值；

若满足，停止遍历，此时该根节点的所有孩子节点构成的孩子子树即为最佳频繁子树；

通过树的一致性对齐方法求出最小评论区域，然后通过路径文本长度抽取最频繁评论路径并提取评论内容。

2.根据权利要求1所述的方法，其特征在于：所述通过树的一致性对齐方法求出最小评论区域，然后通过路径文本长度抽取最频繁评论路径并提取评论内容，具体包括：

通过频繁子树对齐方法抽取最小评论区域，计算子树对齐值C(T_i)，将子树对齐值C(T_i)中最小值对应的子树作为最小评论区域，其中，所述的子树对齐值C(T_i)的计算式为：

其中，T_i表示根节点下的第i棵子树，a_j表示第j个节点的对齐次数，n表示该子树的节点总数，t表示频繁子树的总棵树；

通过路径的文本长度抽取最频繁评论路径,计算最小评论区域中每条从根节点到叶子节点的路径频繁值L(p_j),获取最频繁路径并抽取评论内容，其中，所述的叶子节点的路径频繁值L(p_j)的计算式为：

其中，p_j表示第j条从根节点到叶子节点的路径，a表示该条路径中叶子节点的对齐次数，t表示频繁子树的总棵树，len(T_k)表示第k棵子树中该路径包含的文本长度，len(T)表示所有频繁子树中该路径包含的文本长度总和。