[发明专利]分布式信息获取系统及方法

权利要求书

1.一种分布式信息获取系统，其特征在于，包括：

一个或多个请求生成装置，用于生成获取信息的任务请求；

一个或多个任务管理装置，用于根据所述任务请求确定任务的优先级并分配任务；

多个任务执行装置，用于根据所述任务管理器的分配执行所述任务以获取信息；

信息收集装置，用于收集多个所述任务执行装置获取的信息；

一个或多个数据解析装置，用于对所述信息进行数据解析；以及

数据储存装置，用于储存进行过数据解析的信息。

2.根据权利要求1所述的分布式信息获取系统，其特征在于，所述任务管理装置还包括：

任务持久化装置，用于将每个所述任务请求储存至所述数据储存装置。

3.根据权利要求1所述的分布式信息获取系统，其特征在于，还包括：

信息队列装置，用于将所述信息收集装置收集到的信息构成队列并按队列的顺序将所述信息提交至所述数据解析装置。

4.根据权利要求3所述的分布式信息获取系统，其特征在于，所述信息收集装置采用异步方式将收集到的信息发送至所述信息队列装置。

5.根据权利要求1所述的分布式信息获取系统，其特征在于，所述多个任务执行装置还向所述任务管理装置反馈每个所述任务执行装置的执行状态以供所述任务管理装置分配未执行的任务。

6.一种分布式信息获取方法，其特征在于，包括：

生成获取信息的任务请求；

根据所述任务请求确定任务的优先级并向多个任务执行装置分配任务；

所述多个任务执行装置执行所述任务以获取信息；

收集获取的信息；

对所述信息进行数据解析；以及

储存进行过数据解析的信息。

7.根据权利要求6所述的分布式信息获取方法，其特征在于，所述根据所述任务请求确定任务的优先级并向多个任务执行装置分配任务还包括：

将每个所述任务请求储存至一数据储存装置。

8.根据权利要求6所述的分布式信息获取方法，其特征在于，所述收集获取的信息之后，所述对所述信息进行数据解析之前还包括：

将收集到的信息构成队列并按队列的顺序进行数据解析。

9.根据权利要求8所述的分布式信息获取方法，其特征在于，所述将收集到的信息构成队列并按队列的顺序进行数据解析包括：

采用异步方式将收集到的信息更新至所述队列。

10.根据权利要求6所述的分布式信息获取方法，其特征在于，还包括：

根据多个所述任务执行装置的已分配任务的执行状态向多个所述任务执行装置分配未执行的任务。