[发明专利]一种多记录网页的信息抽取系统及方法

摘要

本发明涉及一种多记录网页的信息抽取系统及方法，该系统包括一个网页预处理模块，用于将HTML网页转换为XHTML网页，并过滤网页中用来渲染显示效果的标签，然后根据标签的嵌套结构，构建文档次序树；一个记录区域定位模块，用于接收文档次序树，并利用横向层次分析法在文档次序树中定位出记录区域的位置；一个记录分隔符识别模块，用于从记录区域中找到记录之间的分隔符并进行存储；以及一个记录输出模块，用于将记录区域里所有文本节点按层次顺序遍历输出，在碰到分隔符时输出分隔线，得到最终的抽取结果。该系统及方法能够高效、准确地对传统和新式多记录网页进行信息抽取，抽取速度快、准确度高，通用性强，适用范围广。

主权项

一种多记录网页的信息抽取系统，其特征在于，包括：一个网页预处理模块，用于将HTML网页转换为XHTML网页，并过滤网页中用来渲染显示效果的标签，然后根据标签的嵌套结构，构建文档次序树；一个记录区域定位模块，用于接收待抽取文档的文档次序树，并利用横向层次分析法在所述文档次序树中定位出记录区域的位置；一个记录分隔符识别模块，用于从所述记录区域中找到记录之间的分隔符并进行存储；以及一个记录输出模块，用于将记录区域里所有文本节点按层次顺序遍历输出，在碰到分隔符时输出分隔线，得到最终的抽取结果；所述记录区域定位模块利用横向层次分析法在所述文档次序树中定位出记录区域的位置，包括以下步骤：步骤a1：先序遍历文档次序树，统计并记录每个节点相同子节点个数，找到相同子节点个数最多的节点，并将以该节点为根的子树确定为候选记录区域1且该节点要满足其子树内某个文本节点字符数大于文档次序树文本节点平均字符数；步骤a2：在对文档次序树进行遍历的同时，确定文档次序树中位于中间子树且字符数最多的文本节点位置；确定了文本节点位置即确定了从该节点到文档次序树根节点的唯一路径，选择该路径上相同子节点数最多的节点，将以该节点为根的子树确定为候选记录区域2；步骤a3：如果候选记录区域1的根节点和候选记录区域2的根节点相同，则候选记录区域1和候选记录区域2所代表的子树为最终记录区域，否则计算两棵子树根节点相同子节点个数的商值，引入阈值θ，如果商值大于等于阈值，说明记录条数少，需要依靠最多字符数文本节点来准确定位记录区域，选择候选记录区域2为最终记录区域；如果商值小于阈值，说明记录条数多，选择候选记录区域1作为最终记录区域。