[发明专利]一种数据备份方法及流计算系统

摘要

本发明提供一种数据备份方法及流计算系统，该方法包括：目的PE从自身的接收队列中读取第一检查点元组，若判断所述第一检查点元组的批号与当前批号相同，且与所述第一检查点元组具有相同批号的所有元组都已处理完毕，则将自身的状态数据备份至所述流计算系统的分布式存储器中。本发明提供的数据备份方法和流计算系统，采用异步备份的方式，使得数据备份不受PE之间数据传递时延的影响，同时通过设置元组的批次，通过批号的比较，使得同一批号的所有元组到齐之后再进行状态备份，保证了数据备份的一致性。

主权项

一种数据备份方法，应用于流计算系统中，其特征在于，所述流计算系统包括多个工作节点，所述多个工作节点通过调用多个执行单元PE来对待处理的元组进行处理，所述多个执行单元包括：源PE和目的PE；所述源PE将自身的发送队列中缓存的元组发送到所述目的PE的接收队列中，所述目的PE读取自身的接收队列中的元组并进行处理；所述源PE的发送队列中缓存的元组包括普通元组和检查点元组，且每个元组携带有用于表示该元组批次的批号；其中，检查点元组用于指示PE进行数据备份或数据恢复；所述源PE的发送队列中不同的检查点元组具有不同的批号，处于相邻的两个检查点元组之间的普通元组具有相同的批号，且每个检查点元组的批号与其相邻的一个普通元组的批号相同；所述数据备份方法包括：所述目的PE从自身的接收队列中读取第一检查点元组，所述第一检查点元组用于指示所述目的PE进行状态数据备份；所述目的PE判断所述第一检查点元组的批号与当前批号是否相同，以及与所述第一检查点元组具有相同批号的所有普通元组是否都已处理完毕；所述当前批号为所述目的PE当前处理的普通元组的批号；若所述第一检查点元组的批号与所述当前批号相同，且与所述第一检查点元组具有相同批号的所有普通元组都已处理完毕，则所述目的PE将自身的状态数据进行备份，其中，所述目的PE的状态数据包括所述目的PE在处理所述普通元组过程中产生的数据。