[发明专利]一种信息采集方法和装置

权利要求书

1.一种信息采集方法，其特征在于，包括：

确定待采集的电子布告栏系统网络站点的地址信息和信息采集规则；

当接收到获取任一网络站点内容的信息采集请求时，获取所述网络站点的入口链接主地址和副地址；

通过入口链接主地址和入口链接副地址确定所述网络站点对应的版面页面，并从版面页面源代码文件中抽取该版面页面所包含的每个帖子的概述信息；

从所述概述信息中获取每个帖子的链接地址，并根据所述链接地址确定每个帖子的帖子页面，并从帖子页面源代码文件中抽取每个帖子的内容信息。

2.如权利要求1所述的方法，其特征在于，所述入口链接主地址所对应的版面页面中包括主贴的概述信息；所述入口链接副地址所对应的版面中包括主贴和回帖的概述信息。

3.如权利要求1所述的方法，其特征在于，所述信息采集规则包括：

从版面页面中抽取的概述信息的信息项包括帖子标题、帖子链接地址、发帖作者、发帖时间、点击数和回复数；

从帖子页面中抽取的信息项包括帖子标题、帖子正文和同主题模式的链接地址。

4.如权利要求3所述的方法，其特征在于，所述概述信息还包括所述概述信息还包括每个帖子的属性标识，所述属性标识用于标示所述帖子是否为主贴。

5.如权利要求4所述的方法，其特征在于，确定所述属性标识的方法包括：

当确定版面页面对应的连接地址为主地址，则确定所述帖子为主贴，则对应第一属性标识；

当确定版面页面对应的入口链接地址为副地址，则根据帖子标题的特征信息确定帖子的属性标识。

6.如权利要求5所述的方法，其特征在于，所述根据帖子标题的特征信息确定帖子的属性标识包括：

检测所述帖子的标题的开头是否包括第一特征信息，如果是，则确定所述帖子为回帖，则对应第二属性标识；

若所述帖子的标题的开头不包括第一特征信息，则对应设置为第三属性标识，表示该帖子的属性为未知格式。

7.如权利要求6所述的方法，其特征在于，从帖子页面源代码文件中抽取每个帖子的内容信息包括：

当属性标识为第一属性标识，则抽取帖子的标题、帖子正文信息输出；

当属性标识为第二属性标识，从当前帖子页面对应源代码中抽取该帖子的同主题模式链接地址，从待采集和已采集的连接地址信息中确定与所述同主题模式链接地址相同的主贴链接地址信息，并将主贴链接地址信息对应主贴的回复数进行更新。

8.如权利要求7所述的方法，其特征在于，所述帖子的属性标识为第三属性标识，则从帖子页面源代码文件中抽取每个帖子的内容信息包括，

从当前帖子页面对应源代码中抽取该帖子的同主题模式链接地址；

首先将抽取的同主题模式链接地址与当前帖子页面对应的链接地址进行比较，如果相同，则确认该帖子为主贴；则接将抽取的帖子的标题、帖子正文信息；

如果不同，则确认该帖子为回帖，从待采集和已采集的链接地址信息中确定与所述同主题模式链接地址相同的主贴链接地址信息，并将主贴链接地址信息对应主贴的回复数进行更新。

9.一种信息采集装置，其特征在于，包括：

配置模块，用于确定待采集的电子布告栏系统网络站点的地址信息和信息采集规则；

入口链接地址确定模块，用于当接收到获取任一网络站点内容的信息采集请求时，获取所述网络站点的入口链接主地址和副地址；

帖子概述信息采集模块，用于通过入口链接主地址和入口链接副地址确定所述网络站点对应的版面页面，并从版面页面源代码文件中抽取该版面页面所包含的每个帖子的概述信息；

帖子内容信息采集模块，用于从所述概述信息中获取每个帖子的链接地址，并根据所述链接地址确定每个帖子的帖子页面，并从帖子页面源代码文件中抽取每个帖子的内容信息。

10.如权利要求9所述的装置，其特征在于，所述概述信息还包括所述概述信息还包括每个帖子的属性标识，所述属性标识用于标示所述帖子是否为主贴，则帖子概述信息采集模块还用于确定所述属性标识的包括：

当确定版面页面对应的连接地址为主地址，则确定所述帖子为主贴，则对应第一属性标识；

当确定版面页面对应的入口链接地址为副地址，则根据帖子标题的特征信息确定帖子的属性标识。