[发明专利]一种新闻网页元数据自动抽取方法

说明书

技术领域

本发明涉及互联网信息自动抽取技术领域，尤其涉及一种在互联网新闻网页 上进行元数据自动抽取的方法。

背景技术

近年来，万维网已发展成为新闻报道至关重要的发布源。由于新闻页面数量 的迅猛增长，以及万维网在内容显示方面的多样性优势，针对新闻信息类网页进 行组织分类以及分析处理的需求与日俱增。

与网络新闻资源的惊人的增长速度相比，对于资源元数据的抽取、保存以及 规范化的工作却远远落后了。当前网上的新闻资源格式林立、标准众多，主要以 半结构化数据的形式(HTML)存在于网络中，在很多情况下甚至是不精确的、 残缺的或者冗余的。这给网络数字资源的共享带来了高度的复杂性。因此，研究 如何在无人工干预的情况下高效、准确地提取网络数字资源元数据信息，就显得 非常重要和必要了。新闻类网页元数据的自动抽取意味着在无人工干预的情况 下，系统依据依据相关元数据标准从目标文档中自动抽取元数据信息，并将结果 进行合理组织和存储的全过程。

Dublin Core(DC)是出版界权威的元数据标准，《EMMS元数据标准》在 DC的组织结构上进行了针对场景的扩展，将“知识产权描述类”扩展为“版权 信息描述类”，另外增加了“实体及其联系描述类”和“元数据属性描述类”。 CRYSTAL系统利用正则表达式模拟谓词演算的方法实现了论文元数据的自动抽 取，然而其前提格式转换器将目标文档转换成纯本文，而如果采用VIPs方法为 抽取分析提供文档结构反馈支持，可以直接处理Html文档，达到抽取过程的紧 耦合。

发明内容

本发明的目的针对现有技术问题，提供一种无需人工干预地根据预定的标准 和规则，从新闻网页中自动抽取元数据信息的方法。

本发明的技术方案是这样的：

一种新闻网页元数据自动抽取方法，包括以下步骤，

通过选取界面获得外部原始新闻网页，利用HtmlTidy进行净化预处理，得 到规范Html页面；

对得到的上述规范Html页面利用HTMLParser第三方插件进行解析，得到 DOM树；

对得到的所述DOM树利用VIPs算法将DOM树分块，得到视觉分块树VBT；

对得到的所述视觉分块树VBT利用信息抽取算法进行抽取，得到元数据值 作为抽取结果；

对得到的所述元数据值根据EMMS元数据标准映射成为标准字段的value， 获得XML对象生成类；

对得到的所述XML对象生成类利用XmlBean插件输出得到外部元数据 XML文件。

采用本发明的技术方案能够实现在无人工干预的情况下高效、准确地提取网 络数字资源元数据信息，为信息的分析提取打下了可靠坚实的基础。

附图说明

图1是本发明的系统总体流程图

图2是本发明实施例的硬件环境示意图

具体实施方式

在说明实施例以前，需要重申本发明使用的技术术语的定义如下：

元数据：在本发明的技术方案中，元数据被定义为按照一定的标准描述互 联网资源(包括网页，文档，多媒体资源等)的属性及内容的概括性数据的集合；

元数据标准：元数据标准定义了整套元数据的体系架构。标准内容分为元 数据字段名称以及字段取值范围，所有字段组织成树状结构。本方法遵循的元数 据标准为《EMMS元数据标准》，它对Dublin Core进行了必要扩展，形成了“文 件外部属性信息”、“文档内容描述信息”、“版权信息”、“实体以及它们间联系” 以及“元数据属性信息”五大结构。元数据标准是元数据自动抽取的目标，是元 数据xml文件的Shema的生成依据；

DOM(文档对象模型)：DOM是“Document Object Model”的缩写，是一种 供HTML和XML文档使用的应用程序编程接口(API)。它定义了文档的逻辑结 构以及对文件进行访问和操作的方法。DOM被设计成平台无关、可使用任意编 程语言实现的规范。为了提供准确的、独立于语言的规范，DOM工作组使用了 OMG(Object Management Group，对象管理组织)的IDL(Interface Definition Language，接口定义语言)来定义DOM接口，然后由厂商来具体地实现这些接 口。这样既实现了标准的统一，同时又使标准的实现成为可能；