[发明专利]一种分布式的实时新闻信息采集系统

摘要

本发明公开了一种分布式的实时新闻信息采集系统，系统构架为中央服务器、若干子采集结点和数据库服务器，每个子采集结点负责采集新闻页面，并都通过TCP/IP协议与中央服务器进行通信，将采集的新闻页面转发给中央服务器，由中央服务器把所有下载的新闻页面存储入数据库服务器中。该系统能克服现有技术的缺陷，主要针对新闻数据量大，更新速度快以及具有很高重复性的特点，进行高效、稳定的采集，而且成本低、易于部署。

主权项

一种分布式的实时新闻信息采集系统,系统构架为中央服务器、若干子采集结点和数据库服务器，每个子采集结点负责采集新闻页面，并都通过TCP/IP协议与中央服务器进行通信，将采集的新闻页面转发给中央服务器，由中央服务器把所有下载的新闻页面存储入数据库服务器中，其特征在于，包括以下模块：URL处理模块：主要功能负责给待采集的URL排序，并向协议处理模块分配URL；协议处理模块：主要功能是通过各种Web协议来完成新闻数据的采集；重复内容检测模块：主要功能是根据系统能够的需要，从简单的段落匹配到复杂的文本相似度计算来减小重复采集；URL提取模块：主要功能是对于采集到并经过重复内容检测的新闻页面进行页面类型判别，并进行必要的转换；Meta信息获取模块：主要功能是将所获取的新闻页面中提取出来URL的好坏给出一个度量，将度量结果传输到URL处理器中用于排序；语义信息解析模块：主要功能是对文本内容建立简单的索引；数据库：主要功能是将经过重复内容检测后的页面数据、提取出来的Meta信息、主题和摘要都要存入数据库，以备其他应用使用。