[发明专利]一种基于HTML源代码和网页快照的Web信息抽取方法与系统

说明书

本发明给出了一种基于HTML源代码和网页快照的Web信息抽取方法与系统，包括通过收集网页快照训练数据，在网页快照训练数据中标注表征网页快照训练数据的类别的标签，得到标注后的网页快照训练数据；将标注后的网页快照训练数据输入混合CNN和BERT的神经网络架构进行模型训练，获取用于抽取网页信息的神经网络模型；最后基于神经网络模型对网络上的标签未知的网页快照数据进行抽取输出标签未知的网页快照数据对应的标签。通过搜集足够数量的网页极其快照，选择具有多样性布局和内容的网页，提高了后续生成的模型的泛化能力，并且将网页快照部分和HTML源代码部分分别输入CNN和BERT，充分利用了文本和网页快照的信息，提升了Web信息抽取的精度。

技术领域

本发明涉及网页信息抽取技术领域，尤其是一种基于HTML源代码和网页 快照的Web信息抽取方法与系统。

背景技术

Web信息抽取即从网页中抽取出有价值的网页主体信息。目前较为成熟 的信息抽取方法主要有基于模板的方法、基于统计的方法、基于视觉分块的 方法。

(1)基于模板的信息抽取方法：早期的手工构建模板的方法主要用来 解决特定网站的信息抽取问题。使用该类方法不需要构建数据集，但是需要 大量的人工分析且不同的站点需要不同的模板，费时费力且通用性较差。于 是大量研究集中于如何自动生成模板的方法上。

(2)基于统计的网页信息抽取算法：目前基于统计的方法主要有统计 文本密度、标签密度和行块分布等方法。基于统计的方法大多是针对网页正 文抽取进行的研究，难以抽取如发布时间、来源等其他新闻关键信息。

(3)基于视觉的信息抽取方法：先对网页进行渲染分析，再结合视觉 信息，进行信息抽取工作。这一类方法由于需要先进行页面渲染会耗费较多 资源。

目前，大部分网页信息抽取方法都是基于HTML源码或者基于将源码解 析后生成的DOM树，使用网页的文本特征或结构特征进行抽取。近些年来， 已有学者提出了一些基于视觉特征的抽取算法，这类方法不依赖于具体的网 页编程语言，且更加契合HTML这种帮助表现和展示的语言。但是，大多数 方法是基于视觉特征，使用启发式规则对网页进行分块，但由于网页的形式 是十分多样化的，这些方法并不是十分通用。

发明内容

本发明提出了一种基于HTML源代码和网页快照的Web信息抽取方法与 系统，以解决上文提到的现有技术的缺陷。

在一个方面，本发明提出了一种基于HTML源代码和网页快照的Web信 息抽取方法，该方法包括以下步骤：

S1：收集包括网页快照训练数据和HTML源代码训练数据在内的网页抽 取训练数据，在所述网页快照训练数据中标注表征所述网页快照训练数据的 类别的标签，得到标注后的网页快照训练数据；

S2：将所述标注后的网页快照训练数据和HTML源代码训练数据分别输 入混合CNN和BERT的神经网络架构进行模型训练，获取用于抽取网页信息 的神经网络模型；

S3：基于所述神经网络模型对网络上的标签未知的网页快照数据进行抽 取输出所述标签未知的网页快照数据对应的标签。

以上方法通过搜集足够数量的网页极其快照，选择具有多样性布局和内 容的网页，提高了后续生成的模型的泛化能力，模型训练阶段采用了混合CNN 和BERT的神经网络架构，将网页快照部分和HTML源代码部分分别输入CNN 和BERT，充分利用了文本和网页快照的信息，提升了Web信息抽取的精度。

在具体的实施例中，所述标签根据所述收集网页快照训练数据的具体的 网站类型和应用需求进行定义，且所述标签包括：时间、标题和正文。

在具体的实施例中，所述标注后的网页快照训练数据包括HTML源代码、 所述HTML源代码对应的网页快照图片和对应的标签。