[发明专利]用于大数据实时计算的方法及装置

说明书

本申请公开一种用于大数据实时计算的方法及装置。该方法可用于大型分布式数据处理系统，该方法包括：获取待处理的任务；根据所述任务生成记录数据，所述记录数据包括任务状态；通过分布式实时计算处理所述任务；以及根据所述任务的处理结果更新所述记录数据。本申请的用于大数据实时计算的方法及装置，能够解决实时计算系统出现异常宕机、异常重启等情况下，消息丢失、消息重复处理、消息状态异常等问题。

技术领域

本发明涉及分布式实时计算领域，具体而言，涉及一种用于大数据实时计算的方法及装置。

背景技术

大数据(big data)，指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。实时计算(Real-time computing)也叫实时流式计算，这个概念与离线计算是相伴而生的。实时计算：是从事件发生到系统回应之间的最长时间限制。即时程序必须保证在严格的时间限制内响应。通常即时回应时间会是以毫秒为单位，也有时是以微秒为单位。离线计算是指按照时间段、批量处理数据。使用“离线计算”的用户看到的数据永远是几小时、1天前的数据。由于离线计算不能满足所有的业务需求。例如：当用户搜索一个商品时，需要立即返回最新商品信息，而不是几个小时前的商品信息。所以大数据的实时计算应运而生。实时计算反映的是实时的、流动式的大量数据。

目前的实时计算是一套完整的解决方案。一般包括：分布式数据采集系统、分布式数据队列处理系统、分布式实时计算系统三部分。目前的实时计算解决方案都面临以下问题：1)当实时计算系统宕机时，无法保持处理中消息和消息状态；2)当实时计算系统异常重启时，无法由中断位置继续处理；3)当实时计算消息处理一直失败时，无法记录消息的异常状态，进而进行后续处理等问题。若无法解决上述问题，实时计算系统必然会出现对消息丢弃、消息重复处理、消息状态异常等问题，从而降低实时计算结果的准确性。

因此，需要一种新的用于大数据实时计算的方法及装置。

在所述背景技术部分公开的上述信息仅用于加强对本发明的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

有鉴于此，本发明提供一种用于大数据实时计算的方法及装置，能够解决实时计算系统出现异常宕机、异常重启等情况下，消息丢失、消息重复处理、消息状态异常等问题。

本发明的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本发明的实践而习得。

根据本发明的一方面，提出一种用于大数据实时计算的方法，该方法可用于大型分布式数据处理系统，该方法包括：获取待处理的任务；根据所述任务生成记录数据，所述记录数据包括任务状态；通过分布式实时计算处理所述任务；以及根据所述任务的处理结果更新所述记录数据。

在本公开的一种示例性实施例中，还包括：发送所述记录数据至服务器。

在本公开的一种示例性实施例中，还包括：在异常状态恢复时，根据所述记录数据进行所述任务的处理。

在本公开的一种示例性实施例中，所述在异常状态恢复时，根据所述记录数据进行所述任务的处理，包括：发送查询指令至服务器；接收所述服务器返回的所述记录数据；以及根据所述记录数据进行所述任务的处理。

在本公开的一种示例性实施例中，所述获取待处理的任务，包括：通过分布式数据队列处理系统获取待处理的所述任务。

在本公开的一种示例性实施例中，所述通过分布式数据队列处理系统获取待处理的所述任务，包括：通过kafka框架的分布式数据队列处理系统获取待处理的所述任务。

在本公开的一种示例性实施例中，所述通过分布式实时计算处理所述任务，包括：通过Storm框架的分布式实时计算处理所述任务。