[发明专利]一种数据备份方法及流计算系统

摘要

本发明提供一种数据备份方法及流计算系统，该方法包括：目的PE从自身的接收队列中读取第一检查点元组，若判断所述第一检查点元组的批号与当前批号相同，且与所述第一检查点元组具有相同批号的所有元组都已处理完毕，则将自身的状态数据备份至所述流计算系统的分布式存储器中。本发明提供的数据备份方法和流计算系统，采用异步备份的方式，使得数据备份不受PE之间数据传递时延的影响，同时通过设置元组的批次，通过批号的比较，使得同一批号的所有元组到齐之后再进行状态备份，保证了数据备份的一致性。

主权项

一种流计算系统中的数据备份方法，所述流计算系统包括多个执行单元PE，用于对待处理的元组进行处理，所述多个执行单元包括：源PE和目的PE；其特征在于，所述数据备份方法包括：所述目的PE接收所述源PE发送的多个元组并加入自身的接收队列，所述多个元组中的每个元组都携带有表示该元组批次的批号；所述多个元组包括多个普通元组和多个检查点元组，不同的检查点元组具有不同的批号，所述接收队列中的两个检查点元组之间间隔有多个具有相同的批号的普通元组，且每个检查点元组的批号与其相邻的前一个普通元组的批号相同；所述目的PE从所述接收队列中读取第一检查点元组，所述第一检查点元组指示所述目的PE进行状态数据备份；所述目的PE判断与所述第一检查点元组具有相同批号的所有普通元组是否都已处理完毕；若与所述第一检查点元组具有相同批号的所有普通元组都已处理完毕，则所述目的PE将自身的状态数据进行备份。