[发明专利]一种Web论坛信息抽取系统

权利要求书

1.一种Web论坛信息抽取系统，其特征在于，该系统包括如下模块：

网页采集模块，用于根据用户指定的论坛站点和相应的版块自动下载论坛网页；

网页解析模块，用于对网页内容进行清洗，形成网页的文档对象模型以便信息抽取算法的实施；

在线抽取模块，用于根据论坛网页的布局结构特点对网页中的指定信息进行抽取；

数据库存储模块，用于将所抽取的内容存储在数据库系统中以便进行其它的应用。

2.根据权利要求1所述的Web论坛信息抽取系统，其特征在于，所述网页采集模块包括以下单元：

网页获取单元，该单元向HTTP服务器发送请求，读取返回的内容；

链接获取单元，该单元从下载到的网页中分析提取出待下载的网页的URL；

下载队列管理单元，该单元根据一定的策略从下载URL队列中取出下一个要下载的URL。

3.根据权利要求1所述的Web论坛信息抽取系统，其特征在于，所述网页解析模块进一步用于所述网页采集模块中的链接获取单元，链接分析提取是基于网页的DOM树进行的。

4.根据权利要求1所述的Web论坛信息抽取系统，其特征在于，所述在线抽取模块包括以下单元：

网页主题信息块发现单元，该单元从网页中确定包含待抽取信息的块状区域，对网页噪声进行初步过滤；

信息抽取单元，该单元对主题信息块中的网页噪声进行进一步的过滤，再从中抽取出指定的信息。

5.根据权利要求1所述的Web论坛信息抽取系统，其特征在于，所述数据库存储模块包括以下单元：

信息识别单元，该单元用于确定抽取出的信息是否已存在于数据库中，进一步确定是否要进行插入记录操作或是更新记录操作或是空操作；

信息保存单元，该单元将抽取出的信息插入或更新至数据库。