[发明专利]流式大数据处理方法

摘要

本发明揭示了一种流式大数据处理方法，包括：S1、对流式大数据进行预处理，得到待处理流式数据；S2、划分[0,t0]时间段内的待处理流式数据构建出初始化数据集，计算得到R(t)；S3、依据差异变量从待处理流式数据中划分Δt时间段内的数据作为增量数据集，计算得到R(Δt)；S4、将R(t)与R(Δt)进行合并，得到R(t+Δt)；S5、重复S3~S4步骤直至待处理流式数据全部处理完成，得到最终处理结果。本发明的方法，可以根据不同用户需要的满意解，在考虑时间复杂度的效率上和考虑数据更新的准确率之间进行平衡处理，既提升了数据处理过程的效率，又保证数据处理结果的准确性。

主权项

1.一种流式大数据处理方法，其特征在于，包括如下步骤：S1、数据准备步骤，对流式大数据进行预处理，得到待处理流式数据；S2、数据集初始化步骤，针对待处理流式数据，划分[0, t₀]时间段内的数据构建出初始化数据集，对初始化数据集应用算法进行处理，得到输出R(t₀)；S3、数据集增量划分步骤，依据差异变量，从待处理流式数据中划分Δt时间段内的数据作为增量数据集，对增量数据集进行算法处理，得到结果集合R(Δt)；S4、增量结果合并步骤，将集合R(t)与R(Δt)进行合并，得到更新后的结果集合R(t+Δt)，S5、循环处理步骤，重复S3~S4步骤直至待处理流式数据全部处理完成，得到最终处理结果。