[发明专利]一种从网页中抽取评论内容的方法和装置

摘要

本发明公开了一种从网页中抽取评论内容的方法和装置，涉及信息处理技术，通过建立评论页面的DOM树，并选择符合评论区抽取规则的子树抽取出评论区，再利用评论记录间的结构相似性，抽取出评论区中的评论记录，利用包含评论内容的子树的差异性，选择标准差最大的子树作为包含评论内容的子树，最后选取稳定性最小的一条路径中，稳定性差绝对值最大的相邻节点中的孩子节点作为根节点，这个子树就是要抽取的评论内容。由于利用了评论内容的无结构特性来进行抽取，而不是根据网页的模板进行抽取，所以网页的不同不影响抽取的准确性，并且不需要根据网页的模板进行复杂的配置，并通过计算去除了噪声信息，提高了从网页中抽取评论内容的效率和准确性。

主权项

一种从网页中抽取评论内容的方法，其特征在于，包括：根据评论页面建立文档对象模型DOM树；根据预先设定的评论区抽取规则，抽取出DOM树中符合所述评论区抽取规则的子树作为评论区树；在评论区树根节点的各子树中，抽取出评论记录树；根据每条评论记录中评论内容的差异性，抽取出包括评论内容的评论记录树；确定出抽取出的包括评论内容的各个评论记录树中的对应节点，并根据每组对应节点所对应的网页内容的差异性，确定出对应的网页内容的差异性满足设定规则的至少一组对应节点；抽取所述对应的网页内容差异满足设定规则的至少一组对应节点在网页中对应的内容。