[发明专利]基于Flink的实时数据处理方法、系统、设备及存储介质

权利要求书

1.一种基于Flink的实时数据处理方法，其特征在于，包括：

S1、获取实时运行轴的实时运行数据、所述实时运行轴的运行轴品种数据、FlinkState中存储的所有当前批次轴品种数据和与所有当前批次轴品种数据一一对应的所有当前批次运行数据；

S2、判断所有所述当前批次轴品种数据中是否存在与运行轴品种数据相同的轴品种数据，若是，则执行步骤S3；若否，则执行步骤S4；

S3、将该轴品种数据记为第一目标轴品种数据，根据所述实时运行数据判断是否更新与第一目标轴品种数据对应的当前批次运行数据；

S4、获取HBase中存储的所有历史轴品种数据，判断所有所述历史轴品种数据中是否存在与运行轴品种数据相同的轴品种数据，若是，则执行步骤S5；若否，则执行步骤S6；

S5、将该轴品种数据记为第二目标轴品种数据，将所述第二目标轴品种数据和与其对应的在HBase中存储的历史运行数据写入到Flink State中，得到与第二目标轴品种数据相同的当前批次轴品种数据和与其对应的当前批次运行数据，根据所述实时运行数据判断是否更新与第二目标轴品种数据对应的当前批次运行数据；

S6、将所述运行轴品种数据记为待添加轴品种数据，获取所述HBase中存储的所有周期上报轴品种数据，根据所有所述周期上报轴品种数据将所述待添加轴品种数据和实时运行数据写入到HBase中存储。

2.根据权利要求1所述的基于Flink的实时数据处理方法，其特征在于，所述实时运行轴数据包括：采集时间和运行圈数；所述当前批次运行数据包括：第一起始时间、第一结束时间、第一起始圈数和第一结束圈数；所述历史运行数据包括：第二起始时间、第二结束时间、第二起始圈数和第二结束圈数。

3.根据权利要求2所述的基于Flink的实时数据处理方法，其特征在于，所述根据所述实时运行数据判断是否更新与第一目标轴品种数据对应的当前批次运行数据，包括：

判断所述采集时间是否小于与第一目标轴品种数据对应的第一起始时间，若是，则将采集时间作为与第一目标轴品种数据对应的第一起始时间，将运行圈数作为与第一目标轴品种数据对应的第一起始圈数，完成更新；若否，则判断所述采集时间是否大于与第一目标轴品种数据对应的第一结束时间，若是，则将采集时间作为与第一目标轴品种数据对应的第一结束时间，将运行圈数作为与第一目标轴品种数据对应的第一结束圈数，完成更新，若否，则不更新Flink State中存储的与第一目标轴品种数据对应的当前批次运行数据。

4.根据权利要求2所述的基于Flink的实时数据处理方法，其特征在于，所述根据所述实时运行数据判断是否更新与第二目标轴品种数据对应的当前批次运行数据，包括：

判断所述采集时间是否小于与第二目标轴品种数据对应的第一起始时间，若是，则将采集时间作为与第二目标轴品种数据对应的第一起始时间，将运行圈数作为与第二目标轴品种数据对应的第一起始圈数，完成更新；若否，则判断所述采集时间是否大于与第二目标轴品种数据对应的第一结束时间，若是，则将采集时间作为与第二目标轴品种数据对应的第一结束时间，将运行圈数作为与第二目标轴品种数据对应的第一结束圈数，完成更新，若否，则不更新Flink State中存储的与第二目标轴品种数据对应的当前批次运行数据。

5.根据权利要求2所述的基于Flink的实时数据处理方法，其特征在于，所述根据所有所述周期上报轴品种数据将所述待添加轴品种数据和实时运行数据写入到HBase中存储，包括：

判断所有所述周期上报轴品种数据中是否存在与待添加轴品种数据相同的周期上报轴品种数据，若是，则将所述采集时间作为该周期上报轴品种数据对应的第三结束时间，将所述运行圈数作为该周期上报轴品种数据对应的第三结束圈数，若否，则将所述待添加轴品种数据作为周期上报轴品种数据，将所述采集时间作为该周期上报轴品种数据对应的第三开始时间，将所述运行圈数作为该周期上报轴品种数据对应的第三开始圈数。