[发明专利]用于大数据实时计算的方法及装置

权利要求书

1.一种用于大数据实时计算的方法，该方法可用于大型分布式数据处理系统，其特征在于，包括：

通过分布式数据队列处理系统获取待处理的任务，所述分布式数据队列处理系统通过发布/订阅模式接收任务；

根据所述任务生成记录数据，并将所述记录数据发送至位点服务器，以使所述位点服务器将所述记录数据存储至存位点接口，其中，所述记录数据包括任务状态；

通过分布式实时计算处理所述任务；以及

根据所述任务的处理结果更新所述记录数据，并对应更新所述位点服务器中的所述存位点。

2.如权利要求1所述的方法，其特征在于，还包括：

在异常状态恢复时，根据所述记录数据进行所述任务的处理。

3.如权利要求2所述的方法，其特征在于，所述在异常状态恢复时，根据所述记录数据进行所述任务的处理，包括：

发送查询指令至服务器；

接收所述服务器返回的所述记录数据；以及

根据所述记录数据进行所述任务的处理。

4.如权利要求1所述的方法，其特征在于，所述通过分布式数据队列处理系统获取待处理的所述任务，包括：

通过kafka框架的分布式数据队列处理系统获取待处理的所述任务。

5.如权利要求1所述的方法，其特征在于，所述通过分布式实时计算处理所述任务，包括：

通过Storm框架的分布式实时计算处理所述任务。

6.一种用于大数据实时计算的方法，该方法可用于大型分布式数据处理系统，其特征在于，包括：

接收并保存记录数据，所述记录数据包括任务状态；

接收记录更新数据；以及

根据所述更新数据，更新所述记录数据；

监控所述任务处理状态，在预定的时间间隔将已处理完成的搜索任务对应的搜索记录数据迁移到备份数据库；

其中，所述分布式数据队列处理系统通过发布/订阅模式接收所述记录数据对应的任务。

7.如权利要求6所述的方法，其特征在于，还包括：

接收查询指令；以及

根据所述查询指令返回所述记录数据至查询方。

8.一种用于大数据实时计算的装置，该装置可用于大型分布式数据处理系统，其特征在于，包括：

获取任务模块，用于通过分布式数据队列处理系统获取待处理的任务，所述分布式数据队列处理系统通过发布/订阅模式接收任务；

记录数据模块，用于根据所述任务生成记录数据，并将所述记录数据发送至位点服务器，以使所述位点服务器将所述记录数据存储至存位点接口，其中，所述记录数据包括任务状态；

处理任务模块，用于通过分布式实时计算处理所述任务；以及

更新数据模块，用于根据所述任务的处理结果更新所述记录数据，并对应更新所述位点服务器中的所述存位点。

9.一种用于大数据实时计算的装置，该装置可用于大型分布式数据处理系统，其特征在于，包括：

接收数据模块，用于接收并保存记录数据，所述记录数据包括任务状态；

接收更新模块，用于接收记录更新数据；以及

更新数据模块，用于根据所述更新数据，更新所述记录数据；

数据迁移模块，用于监控所述任务处理状态，在预定的时间间隔将已处理完成的搜索任务对应的搜索记录数据迁移到备份数据库；

其中，所述分布式数据队列处理系统通过发布/订阅模式接收所述记录数据对应的任务。

10.如权利要求9所述的装置，其特征在于，还包括：

接收查询模块，用于接收查询指令；以及

返回数据模块，用于根据所述查询指令返回所述记录数据至查询方。