[发明专利]一种数据备份方法及流计算系统

说明书

本发明提供一种数据备份方法及流计算系统，该方法包括：目的PE从自身的接收队列中读取第一检查点元组，若判断所述第一检查点元组的批号与当前批号相同，且与所述第一检查点元组具有相同批号的所有元组都已处理完毕，则将自身的状态数据备份至所述流计算系统的分布式存储器中。本发明提供的数据备份方法和流计算系统，采用异步备份的方式，使得数据备份不受PE之间数据传递时延的影响，同时通过设置元组的批次，通过批号的比较，使得同一批号的所有元组到齐之后再进行状态备份，保证了数据备份的一致性。

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据备份方法以及一种流计算系统。

背景技术

近年来，数据密集型业务已经得到越来越广泛的应用，这些业务的实例包括金融服务、网络监控、电信数据管理、传感检测等等。数据密集型业务产生的数据具有数据量大、快速、时变的特点，流计算系统在接收流数据时就开始对其进行处理，以保证实时性。如图1所示，流计算系统通常包括一个主控节点(Master)和多个工作节点(worker)，主控节点主要负责调度和管理各个工作节点，而工作节点是承载实际的数据处理操作的逻辑实体，工作节点具体通过调用若干个执行单元(PE，Process Element)来对数据进行处理，PE是业务逻辑的物理执行单元。

可以看出，流计算系统实质上是一个分布式集群系统，因此系统出现异常的概率较高，流计算系统发生故障可能会导致业务中断或状态数据丢失，为了保证流计算系统的可靠性，现有技术通常采用多节点备份机制，如图2所示，周期性的将每个工作节点中的PE的状态数据以及业务数据备份至其他工作节点的内存，当某个工作节点出现故障，则迁移到备份的工作节点继续进行数据处理。

由于流计算系统是分布式数据处理系统，工作节点中的每个PE可能会处理多条数据流中的数据，同时，同一数据可能会同时被不同的PE处理，流计算系统中数据处理的并发性和无序性，以及PE之间数据传递的时延，会导致采用现有技术这种整体同步备份的方式，数据备份的一致性得不到保证。

发明内容

本发明实施例提供一种数据备份方法及流计算系统，用以保证分布式流计算系统中数据备份的一致性。

第一方面，本发明实施例提供了一种数据备份方法，应用于流计算系统中，所述流计算系统包括多个工作节点，所述多个工作节点通过调用多个执行单元PE来对待处理的元组进行处理，所述多个执行单元包括：源PE和目的PE；所述源PE将自身的发送队列中缓存的元组发送到所述目的PE的接收队列中，所述目的PE读取自身的接收队列中的元组并进行处理；所述源PE的发送队列中缓存的元组包括普通元组和检查点元组，且每个元组携带有用于表示该元组批次的批号；其中，检查点元组用于指示PE进行数据备份或数据恢复；所述源PE的发送队列中不同的检查点元组具有不同的批号，处于相邻的两个检查点元组之间的普通元组具有相同的批号，且每个检查点元组的批号与其相邻的一个普通元组的批号相同；所述数据备份方法包括：

所述目的PE从自身的接收队列中读取第一检查点元组，所述第一检查点元组用于指示所述目的PE进行状态数据备份；

所述目的PE判断所述第一检查点元组的批号与当前批号是否相同，以及与所述第一检查点元组具有相同批号的所有普通元组是否都已处理完毕；所述当前批号为所述目的PE当前处理的普通元组的批号；

若所述第一检查点元组的批号与所述当前批号相同，且与所述第一检查点元组具有相同批号的所有普通元组都已处理完毕，则所述目的PE将自身的状态数据进行备份；其中，所述目的PE的状态数据包括所述目的PE在处理所述普通元组过程中产生的数据。

在第一方面的第一种可能的实现方式中，所述数据备份方法还包括：

所述目的PE从自身的接收队列中读取第二检查点元组，所述第二检查点元组用于指示所述目的PE进行状态数据恢复；

所述目的PE加载自身备份的状态数据，并基于所述备份的状态数据进行状态恢复和数据回放。