[发明专利]一种新闻网页元数据自动抽取方法

摘要

本发明涉及一种在互联网新闻网页上进行元数据自动抽取的方法，元数据抽取系统向新闻网站服务器发送网页请求，服务器在通过一定的安全检测后将所要求的页面发往元数据抽取模块主机。元数据抽取系统在得到了一定数量的网页集合后，通过DOM技术深入分析每个网页内部的信息，挖掘集合内各个网页间的相互关系，最终得到标准所规定的元数据值。系统将元数据值转化为XML格式后，通过I/O接口向外部存储设备输出，形成XML格式的元数据文件。本发明实现了在无人工干预的情况下，系统依据相关元数据标准从目标文档中自动抽取元数据信息，并将结果进行合理组织和存储的全过程。

主权项

1、一种新闻网页元数据自动抽取方法，其特征在于，包括以下步骤：101.通过选取界面获得外部原始新闻网页，利用HtmlTidy进行净化预处理，得到规范Html页面；102.对得到的所述规范Html页面利用HTMLParser第三方插件进行解析，得到DOM树；103.对得到的所述DOM树利用VIPs算法将DOM树分块，得到视觉分块树VBT；104.对得到的所述视觉分块树VBT利用信息抽取算法进行抽取，得到元数据值作为抽取结果；105.对得到的所述元数据值根据EMMS元数据标准映射成为标准字段的value，获得XML对象生成类；106.对得到的所述XML对象生成类利用XmlBean插件输出得到外部元数据XML文件。