[发明专利]网页表格信息抽取方法及装置

说明书

本发明提供的网页表格信息抽取方法及装置，涉及数据信息处理技术领域。首先，清洗网页数据，检测清洗的网页数据中是否存在web表格；接着，在存在web表格时，识别web表格的样式，并根据web表格的样式抽取表格信息；最后，采用实体识别模型对抽取的表格信息进行识别，筛选出web表格包括的实体对象。根据web表格的样式抽取表格信息，抽取的信息会更加准确；另外，通过实体识别模型对抽取信息进行进一步的识别和清洗，可以减少抽取信息中的干扰信息。

技术领域

本发明涉及数据信息处理技术领域，具体而言，涉及一种网页表格信息抽取方法及装置。

背景技术

在大数据时代，互联网上有海量公开的半结构化数据和非结构化数据，其中网页表格数据这种半结构化数据，往往具有较高的价值。然而，网页表格样式复杂，数据干扰项也多，极大地增加了信息抽取的难度。

现有的网页表格数据抽取方法，一般是通过网页表格解析器获取含有table标记的DOM树，再结合针对特定页面的过滤规则或通过手工标记来进行表格数据抽取。然而，对于由横向表格（表头在首行）和纵行表格（表头在首列）结合的复合表格抽取数据的效果就不好。而且，上述抽取方法，主要是基于规则，对于提取后的表格单元中的信息未进行清洗，导致抽取的内容含有较多的干扰项。

发明内容

为了改善上述问题，本发明提供了一种网页表格信息抽取方法及装置。

本发明的第一方面，提供一种网页表格信息抽取方法，应用于计算机设备，所述方法包括：

对获取的网页数据进行数据清洗，得到清洗后的网页数据；

检测所述清洗后的网页数据中是否存在web表格；

在所述清洗后的网页数据中存在web 表格时，通过识别所述web表格的结构，识别出所述web表格的样式，其中，所述web表格的样式包括简单表格和复合表格；

根据所述web表格的样式，抽取出所述web表格的表格信息；

采用优化的实体识别模型对抽取的表格信息进行识别，得到所述web表格中包括的实体对象。

进一步地，所述通过识别所述web表格的结构，识别出所述web表格的样式的步骤包括：

对所述web表格进行检测，在检测的所述web表格的表格区域依据行标记遍历所述web表格每一行的单元格；

若当前行的单元格数量与上一行的单元格数量不相同，则确定所述web表格为复合表格；若所述web表格中所有行的单元格数量相同，则确定所述web表格为简单表格。

进一步地，若所述web表格的样式为复合表格，所述抽取出所述web表格的表格信息的步骤包括：

将所述web表格拆分为多个简单表格；

遍历每个拆分后的简单表格在每行上的单元格，通过表头特征词库对所述每行上的单元格内容进行文本匹配，统计匹配成功的行单元格数量；

遍历每个拆分后的简单表格在每列上的单元格，通过表头特征词库对所述每列上的单元格内容进行文本匹配，统计匹配成功的列单元格数量；

根据统计的行单元格数量及列单元格数量，判断所述每个拆分后的简单表格的类型，所述简单表格的类型包括横向表格和纵向表格；

根据所述每个拆分后的简单表格的类型，通过所述表头特征词库从所述每个拆分后的简单表格中抽取表格信息。

进一步地，所述根据所述每个拆分后的简单表格的类型，通过所述表头特征词库从所述每个拆分后的简单表格中抽取表格信息的步骤包括：