[发明专利]一种基于结构识别的Web表格信息抽取方法

摘要

本发明涉及一种基于结构识别的Web表格信息抽取方法。在该方法过程中，表格结构的识别采用了两种渐进式的方法进行。首先采用了一组启发式的规则对常见的几种类型的表格进行结构的判断，从而确定了Web中较大一部分表格的结构类型；对通过启发式规则未能识别的表格，采用字符串匹配的方式进行，被匹配的单元格被限定在ULC(upper-left-cell)所在的行或列中，这样就可以大大减少需要进行字符串匹配的内容，提高了匹配和识别的效率。最后，从总的两个维度的表格出发，分别提出了在信息抽取过程中合成单元格的处理策略问题，可以在保证抽取结果中数据间的关系不被破坏的基础上，尽可能的降低冗余数据的产生。

主权项

一种基于结构识别的Web表格信息抽取方法，其特征是该方法步骤如下：首先通过启发式规则对表格的结构进行识别，启发式规则为：①表格左上角的单元格的英文名称为upper‑left‑cell，缩写为ULC，当该单元格中的内容为空时，表格为二维表格，当该单元格中的内容不为空且表格中的内容存在属性‑值关系时，ULC为属性单元格；②当表格中由<th>标签构造的单元格的个数大于2且这些单元格位于表格中的同一行或同一列时，这些单元格是表格的属性单元格；对于符合启发式规则的表格，当识别出的属性区域仅按行展开，则表格为一维表格，当属性区域同时按行和按列展开，则表格为二维表格；一维表格二维表格对于通过步骤1不能进行结构识别的表格，再根据表格中同一属性下的值在内容上具有相似性这一特点，采用字符串编辑距离的方法对单元格中内容字符串间的相似度进行计算，进而区分出表格中的属性单元格区域和值单元格区域；通过对50组不同属性下的属性值组进行内容相似度的计算，得出同一属性下属性值间相似度的阈值为0.3；为了减少进行表格结构识别时相似度计算的次数，根据步骤1中的启发式规则①和表格右下角单元格为值单元格这一特点，仅对ULC和右下角单元格所在的行和列中的单元格进行内容相似度计算，当相似度的值大于0.3，两个单元格中的值同属一个属性，反之则不属于；在进行相似度计算后，当识别出的属性区域仅按行展开，则表格为一维表格，当属性区域同时按行和按列展开，则表格为二维表格；通过上述两步骤之后即可判定表格的结构类型，对于一维表格中横向展开的类型，当值单元格C₂的属性colspan的值大于其所在行中属性单元格C₁的属性colspan的值，则将该值单元格进行分割，得到的两个新的单元格的rowspan的值不变，colspan的值分别为C₁.colspan.value、C₂.colspan.value‑C₁.colspan.value，否则不对该值单元格进行处理；对于一维表格中纵向展开的类型，当值单元格C₂的属性rowspan的值大于其所在列中属性单元格C₁的属性rowspan的值，则将该值单元格进行分割，得到的两个新的单元格colspan的值不变，rowspan的值分别为C₁.rowspan.value、C₂.rowspan.value‑C₁.rowspan.value，否则不对该值单元格进行处理；对于二维表格，包括ULC为空或不为空的两种情况，分别根据值单元格所在行中的属性单元格的colspan的值和所在列中的单元格的rowspan的值对该值单元格进行分割，分割的方法同一维表格的处理过程。