[发明专利]一种分布式的实时新闻信息采集系统

权利要求书

1.一种分布式的实时新闻信息采集系统,系统构架为中央服务器、若干子采集结点和数据库服务器，每个子采集结点负责采集新闻页面，并都通过TCP/IP协议与中央服务器进行通信，将采集的新闻页面转发给中央服务器，由中央服务器把所有下载的新闻页面存储入数据库服务器中，其特征在于，包括以下模块：

URL处理模块：主要功能负责给待采集的URL排序，并向协议处理模块分配URL；

协议处理模块：主要功能是通过各种Web协议来完成新闻数据的采集；

重复内容检测模块：主要功能是根据系统能够的需要，从简单的段落匹配到复杂的文本相似度计算来减小重复采集；

URL提取模块：主要功能是对于采集到并经过重复内容检测的新闻页面进行页面类型判别，并进行必要的转换；

Meta信息获取模块：主要功能是将所获取的新闻页面中提取出来URL的好坏给出一个度量，将度量结果传输到URL处理器中用于排序；

语义信息解析模块：主要功能是对文本内容建立简单的索引；

数据库：主要功能是将经过重复内容检测后的页面数据、提取出来的Meta信息、主题和摘要都要存入数据库，以备其他应用使用。

2.根据权利要求1所述的分布式的实时新闻信息采集系统，其特征在于，中央服务器包含以下模块：

子采集结点的添加删除管理模块：主要功能是负责维护子采集结点表，该表中记录子采集结点的IP地址、端口号、结点编号、及其运行状态；

子采集结点的运行监视与控制模块：主要功能是当中央服务器要求查看某个子采集结点的运行信息时，向此子结点发送查看或控制命令，当子采集结点接收到命令时，判断命令的类型，并执行相应的操作，然后把操作返回的结果传送给中心服务器；

子采集结点的任务分配及参数配置管理模块：主要功能是根据每个采集任务的大小，将任务均匀分配给每个子采集结点，每个子采集结点可能得到一个或多个目标新闻网站的采集任务，每个任务通过配置文件进行设置，其中包括目标新闻网站的种子链接、采集深度、采集时的线程数、采集时间和流量控制，在子采集结点获得配置文件后，调整程序的运行参数，执行采集任务，并将此结点的信息发馈给中心服务器；

网页数据的接收与整理入库模块：主要功能是采集服务一直监听来自子采集结点的数据传送请求，当子采集结点下载页面完毕后，立即向中心服务器提出文件传输请求，中心服务器响应请求后，开始传输数据，并记录页面的下载时间信息和页面的来源信息，然后将数据存储进行数据库中。

3.根据权利要求1所述的分布式的实时新闻信息采集系统，其特征在于，子采集结点包括以下模块：链接调度模块、域名解析模块、异步I/O下载页面模块、网页分析模块、链接过滤模块、页面传输模块和实时刷新模块。