[发明专利]一种网页评论内容的抽取方法

说明书

一种网页评论内容的抽取方法，包括以下步骤：获取网页源码；将网页源码转换成DOM树结构，基于位置、文本长度和布局特征对DOM树进行剪枝预处理；通过深度加权子树相似度算法抽取最佳频繁子树；通过树的一致性对齐方法求出最小评论区域，然后通过路径文本长度抽取最频繁评论路径并提取评论内容。本申请降低了时间复杂度，提高了抽取效率和抽取的准确率，且人工干预少，抽取过程全自动，适应范围广，不用构造抽取模板，无需考虑网页结构变更带来模板更新的麻烦。

技术领域

本申请涉及网页信息分析处理技术领域，尤其是一种网页评论内容的抽取方法。

背景技术

《2014年中国网络购物市场研究报告》显示，我国网民使用网络购物的比例从48.9％提升至55.7％。快速积累的海量产品评论信息是商家和消费者进行需求调研或购物决策的重要依据，从大量的结构迥异的网页中快速准确的抽取评论内容已然成为一个亟待解决的问题。

现有的网页信息抽取的方法有很多种，大致可分为以下几类：1、利用树编辑距离的方法来抽取信息，但此方法涵盖大量的增、删、改操作，计算冗余量大，抽取准确率低。2、基于视觉特征网页分块的方法抽取信息，但此方法局限性大，设定的数据区域块面积阈值过大的话，对于评论条数少的网页不适用。3、基于最长公共子串的方法，该方法在将DOM树转化为标签串的过程中丢失了节点的位置信息，导致整体相似性偏高。4、基于简单树匹配的方法，该方法利用动态规划计算两颗树的最大匹配节点个数得到树之间的相似度，过于严苛要求子节点顺序，导致评论节点对应的子树之间相似度偏低。

现有的抽取方法：上海第二工业大学的申请号为200910198184.6，发明名称为“一种基于互联网的模板抽取属性和评论词的方法”。该方法通过人工标注获取属性模板，工作量大且一旦网页结构改变，模板也需随之改变，容易导致抽取效率低下。南京大学的申请号为201310465730.4，发明名称为“一种基于小样本半监督学习的网页数据抽取方法”。该方法需要大量的用户手工选择及标注，过多的人为参与会导致成本的增加和时间花费的增加。大连灵动科技发展有限公司的申请号为201210491471.8，发明名称为“一种网页结构化信息抽取方法”。该方法采用训练小部分网页作为训练集，将其他网页作为测试集，利用正则表达式抽取其文本内容。针对经常变动的网页格式，正则表达式也需要随之改变，给抽取工作带来了巨大的麻烦。

发明内容

为克服现有技术的缺陷，本申请提供一种网页评论内容的抽取方法，降低时间复杂度，提升抽取效率。

一种网页评论内容的抽取方法，包括以下步骤：获取网页源码；将网页源码转换成DOM树结构，基于位置、文本长度和布局特征对DOM树进行剪枝预处理；通过深度加权子树相似度算法抽取最佳频繁子树；通过树的一致性对齐方法求出最小评论区域，然后通过路径文本长度抽取最频繁评论路径并提取评论内容。

优选的，通过深度加权子树相似度算法抽取最佳频繁子树，具体包括：建立深度加权树，设定深度权重的叶子节点权值为1，逐层向上的父亲节点深度依次加1；以树节点的标签作为关键词，用相同标签的权值总和作为向量坐标，利用余弦向量算法构建节点相似度算法，计算节点相似度；从根节点层次遍历整棵DOM树，计算当前节点的相似度值sim(R)，再计算其所有孩子节点的相似度值；判断根节点的相似度值是否同时满足既大于预置的相似度阈值又大于其所有孩子节点的相似度值；若满足，停止遍历，此时该根节点的所有孩子节点构成的孩子子树即为最佳频繁子树。

优选的，当前节点的相似度值sim(R)的计算式为：

其中，x_i表示子树T1的节点标签向量，y_i表示子树T2的节点标签向量，W和W分别表示x_i和y_i的权值，m表示根节点R的孩子节点个数，T_i和T分别表示R的两颗孩子子树，叶子节点的相似度值为0，只有一个孩子节点满足其父亲节点的相似度值等于其孩子节点的相似度值.