[发明专利]流式数据的处理方法、装置、电子设备及存储介质

权利要求书

1.一种流式数据的处理方法，其特征在于，所述方法包括：

通过流式处理引擎处理流式数据，根据所述流式处理引擎的检查点时间间隔将处理后的流式数据写入存储系统中；其中，不同检查点时间间隔内写入的流式数据存储在所述存储系统的不同存储空间中；

在第一检查点到来时，检测所述存储系统中的第一存储空间中存储的流式数据的数据量；其中，所述第一存储空间用于存储第一检查点时间间隔内所述流式处理引擎写入的流式数据；所述第一检查点为所述第一检查点时间间隔的结束时刻；

当所述第一存储空间中存储的流式数据的数据量小于数据量阈值时，将所述第一存储空间中存储的流式数据复制至所述存储系统的第二存储空间中；所述第二存储空间用于存储第二检查点时间间隔内所述流式处理引擎写入的流式数据；所述第二检查点时间间隔是与所述第一检查点时间间隔相邻的下一检查点时间间隔；

更新所述第一存储空间的状态为可读状态。

2.根据权利要求1所述的方法，其特征在于，在将所述第一存储空间中存储的流式数据复制至所述存储系统的第二存储空间中之后，所述方法还包括：

在第二检查点到来时，删除所述第一存储空间；所述第二检查点为所述第二检查点时间间隔的结束时刻；

更新所述第二存储空间的状态为可读状态。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当所述第一存储空间中存储的流式数据的数据量大于或等于所述数据量阈值时，则直接更新所述第一存储空间的状态为所述可读状态；

从所述第一检查点开始，在所述第二存储空间中存储所述流式处理引擎新写入的流式数据。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

在第二检查点到来时，保留所述第一存储空间；所述第二检查点为所述第二检查点时间间隔的结束时刻；

更新所述第二存储空间的状态为可读状态。

5.根据权利要求1至4任一项所述的方法，其特征在于，在检测所述存储系统中的第一存储空间中存储的流式数据的数据量之前，所述方法还包括：

在所述第一检查点到来时，确定所述第一存储空间中存储的流式数据中的目标数据；所述目标数据是从历史检查点时间间隔对应的历史存储空间中复制的流式数据；

当所述目标数据的状态为预设状态时，则不向所述第二存储空间复制所述第一存储空间中的流式数据。

6.根据权利要求5所述的方法，其特征在于，所述当所述目标数据的状态为预设状态时，则不向所述第二存储空间复制所述第一存储空间中的流式数据，包括：

查询数据存储记录，获取所述目标数据对应的最高复制次数；

当所述目标数据对应的最高复制次数达到第一预设次数时，则不向所述第二存储空间复制所述第一存储空间中存储的全部流式数据。

7.根据权利要求5所述的方法，其特征在于，所述当所述目标数据的状态为预设状态时，则不向所述第二存储空间复制所述第一存储空间中的流式数据，包括：

查询数据存储记录，获取所述目标数据对应的平均复制次数；

当所述目标数据对应的平均复制次数达到第二预设次数时，则不向所述第二存储空间复制所述第一存储空间中存储的全部流式数据。

8.根据权利要求5所述的方法，其特征在于，所述当所述目标数据的状态为预设状态时，则不向所述第二存储空间复制所述第一存储空间中的流式数据，包括：

查询数据存储记录，获取所述目标数据对应的初始写入时刻；

根据所述初始写入时刻和所述第一检查点，确定所述目标数据对应的已写入时长；

当所述已写入时长达到预设时长时，则不向所述第二存储空间复制所述第一存储空间中存储的全部流式数据。

9.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在所述第一检查点直接更新所述第一存储空间的状态为所述可读状态，并在所述第二存储空间中存储所述流式处理引擎新写入的流式数据。