[发明专利]一种网页主题信息抽取方法

说明书

技术领域

本发明涉及一种网络技术，特别是一种网页主题信息抽取的方法。

背景技术

随着互联网的普及，信息技术的发展，形成了大量的信息资源。网络资源的不断丰富和网络信息量的不断膨胀，人们对网络的依赖性越来越强，却也给服务对象从浩如烟海的互联网资源中快速找到自己所需的特定资源带来了不便。从海量的信息中抽取出有用的资源，是当前迫切需要解决的问题，而Web页面所表达的主要信息通常隐藏在大量无关的结构和文字中，使用户不能迅速获取主题信息，限制了Web的可用性，服务对象在查询信息时往往会迷失他们的目标，或者是得到一些比较偏颇的结果。因此很多服务对象在浏览搜索结果时，往往花费大量的时间和精力查看一些与自己搜索的服务无关的页面，这使得很多服务对象对搜索引擎丧失信心，从而导致服务对象的流失。信息抽取有助于解决这一问题，信息抽取技术就是在这种背景下产生的。

目前国内外研究较多的是从网上抽取一些具有格式的信息，如会议论文信息，商品信息，图书信息。这些研究的主要目的是要把网页中的无结构化数据或半结构化数据变成结构化数据。信息抽取的另外一个重要方向是提取出网页中的标题和正文等主题内容，利用网页的主题内容代替原始网页不仅能够缩短用户的浏览的时间，而且可以显著提高网页自动文摘和自动分类等应用的准确性。

有些信息是需要分类储存的，就像在用户浏览多个网页的同时，对一些相同的信息需要进行归类整合，并且根据自己定义的主题进行分类，这样便于信息的统一管理，这对于一些提供RSS定制功能的网站来说很容易，只要用户在网站上定制RSS种子，那么一些信息就会按照用户的定制主动的“推”给用户，但是对于一些非商业性质的网站，如学校，政府，公安信息网站要进行自己定制主题下信息的自动获取，就需要一些主动的“抓”操作，这就是要进行自动的自定义主题信息抽取。

信息抽取是指给出属于同一类型的若干样本网页，找出它们的源数据集的嵌套结构，并将源数据集从网页中抽取出来。即通过对原文档信息内容和结构的分析，抽取出有意义的事实，生成结构化的有价值的信息。Web信息抽取(Web Information Extraction，简称为Web IE)，是将Web作为信息源的一类信息抽取，就是从半结构化的Web文档中抽取数据。其核心是将分散Internet上的半结构化的HTML页面中的隐含的信息点抽取出来，并以更为结构化、语义更为清晰的形式表示，为用户在Web中查询数据，应用程序直接利用Web中的数据提供便利。将信息从网页中抽取出来通常是由包装器(Wrapper)完成的，所谓包装器就是一个能够将数据从HTML网页中抽取出来并且将它们还原为如XML的结构化数据的软件程序。Wrapper方法能够代替人或者其他的软件而自主地工作，能够将一种格式的数据或检索结果转换为另一格式的数据。随着电子技术与电子商务的发展与应用，Web半结构化数据的抽取技术具有越来越重要的理论和现实意义。

发明内容

本发明的目标就是要设计抽取出网页正文部分，去除无关链接、图片等噪音内容方法。

为了实现上述目的，本发明的技术方案如下：一种网页主题信息抽取方法：包括以下步骤：

A、主题信息抽取方法

将布局标签分块，用TABLE和TD标签结点作为分块结点，块内的语义属性是contentlength和linkcount，分别是文字数和链接数，一个STU-DOM结点的主题相关度表示该结点与HTML文档主题的关联程度，

主题相关度含两部分：局部相关度(local correlativity)和上下文相关度contextual correlativity；局部相关度由块内链接和内容决定，其计算公式可以表达为

LocalCorrelativity(STUi)＝LinkCount(STUi)/Contentlength(STUi)