[发明专利]分布式信息获取系统及方法

说明书

技术领域

本发明涉及分布式系统，具体而言，涉及分布式信息获取系统及方法。

背景技术

随着信息技术的发展，网络上的信息越来越多，通过网络搜索引擎查找信息成了人们生活中的重要的信息来源。网络搜索引擎主要利用网络信息获取装置来获取网络上的信息。

目前，公知的网络信息获取装置(例如网络爬虫)是使用单台个人电脑(一般采用X86架构)或者服务器来完成数据采集工作，再将采集到的数据储存于数据储存模块中，但此种方式所采用的抓取设备单一，因而导致信息获取效率不高，所耗费时间长。又由于使用的设备(如个人电脑，服务器等)价格昂贵，成本高，因此给信息采集工作带来不便。

发明内容

为了解决上述问题，本发明提供一种分布式信息获取系统，包括：一个或多个请求生成装置，用于生成获取信息的任务请求；一个或多个任务管理装置，用于根据所述任务请求确定任务的优先级并分配任务；多个任务执行装置，用于根据所述任务管理器的分配执行所述任务以获取信息；信息收集装置，用于收集多个所述任务执行装置获取的信息；一个或多个数据解析装置，用于对所述信息进行数据解析；以及数据储存装置，用于储存进行过数据解析的信息。

优选地，所述任务管理装置还包括：任务持久化装置，用于将每个所述任务请求储存至所述数据储存装置。

优选地，还包括：信息队列装置，用于将所述信息收集装置收集到的信息构成队列并按队列的顺序将所述信息提交至所述数据解析装置。

优选地，所述信息收集装置采用异步方式将收集到的信息发送至所述信息队列装置。

优选地，所述多个任务执行装置还向所述任务管理装置反馈每个所述任务执行装置的执行状态以供所述任务管理装置分配未执行的任务。

根据本发明的又一方面，还提供一种分布式信息获取方法，包括：生成获取信息的任务请求；根据所述任务请求确定任务的优先级并向多个任务执行装置分配任务；所述多个任务执行装置执行所述任务以获取信息；收集获取的信息；对所述信息进行数据解析；以及储存进行过数据解析的信息。

优选地，所述根据所述任务请求确定任务的优先级并向多个任务执行装置分配任务还包括：将每个所述任务请求储存至一数据储存装置。

优选地，所述收集获取的信息之后，所述对所述信息进行数据解析之前还包括：将收集到的信息构成队列并按队列的顺序进行数据解析。

优选地，所述将收集到的信息构成队列并按队列的顺序进行数据解析包括：采用异步方式将收集到的信息更新至所述队列。

优选地，还包括：根据多个所述任务执行装置的已分配任务的执行状态向多个所述任务执行装置分配未执行的任务。

本发明通过分布式信息获取的方法，利用任务管理装置向多个任务执行装置根据任务优先级分配信息获取的任务，任务执行装置获取信息后，通过异步的方式由信息收集装置进行采集并构成和更新信息队列以供数据解析装置进行分析，并将结果储存至数据储存装置。多台任务执行装置不需要X86系统，可降低成本。本发明通过上述分布式系统管理多台低成本任务执行装置来抓取网络上的信息。

附图说明

通过参照附图详细描述其示例实施方式，本发明的上述和其它特征及优点将变得更加明显。

图1示出本发明第一实施例的分布式信息获取系统的结构示意图；以及

图2示出本发明第一实施例的分布式信息获取方法的流程图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的实施方式；相反，提供这些实施方式使得本发明将全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。

图1示出本发明第一实施例的分布式信息获取系统的结构示意图。分布式信息获取系统包括多个请求生成装置102、多个任务管理装置104、多个任务执行装置106、一个信息收集装置108、多个数据解析装置112以及一个数据储存装置114。多个请求生成装置102与多个任务管理装置104连接通讯。多个任务管理装置104与多个任务执行装置106连接通讯。多个任务执行装置106与一个信息收集装置108连接通讯。信息收集装置108与多个数据解析装置112连接通讯。多个数据解析装置112与一个数据储存装置114连接通讯。其中，各装置之间的连接方式可以是有线连接或者无线连接，无线连接的方式包括有红外连接、蓝牙连接、局域网连接、互联网连接等。各装置之间的通讯优选地，使用HTTP协议。