[发明专利]一种流数据处理方法及设备

说明书

本发明实施例提供一种流数据处理方法及设备，用于解决在对流数据进行统计分析时存在的统计结果的准确性较低的技术问题。该方法包括：在当前数据时间窗口接收待处理数据，并确定其产生时间；若产生时间大于当前数据时间窗口的结束时间，则将其缓存到当前数据时间窗口之后的下一个数据时间窗口中，并在确定产生时间未处于当前数据时间窗口的延迟时长对应的时间范围内，关闭当前数据时间窗口，及在确定下一个数据时间窗口关闭时对已缓存的待处理数据进行处理；若产生时间小于当前数据时间窗口的起始时间，且在确定产生时间在多个数据时间窗口中对应的历史数据时间窗口已关闭时，根据产生时间和预设间隔时间对待处理数据进行时间分组处理。

技术领域

本发明涉及计算机技术领域，特别涉及一种流数据处理方法及设备。

背景技术

流计算是一种新的数据处理方式，能实时对大规模的流数据进行处理分析呈现，为系统提供即时的数据价值，被广泛应用于金融服务、网络监控、电信数据管理、Web应用、生产制造、传感检测等领域。其中，流计算中常用的操作是对一定时间间隔内的数据进行统计。

目前，流计算中，在对一定时间间隔内的数据进行统计时，可以通过对数据时间窗口内的数据进行统计分析，即根据数据产生端的时间窗口对数据进行处理。但由于数据产生端环境不同以及数据采集/传输快慢程度的影响，使得数据统计端接收到数据的数据时间可能是乱序的。现采用的处理方式是：在收到下一个时间窗口的数据时，关闭当前时间窗口，将当前时间窗口数据处理输出结果，并将在此之后到达的当前时间窗口内的数据都丢弃，不进行处理。

因此，现有技术中在对流数据进行统计分析时严重破坏了乱序数据的完整性，导致统计分析结果的准确性较低。

发明内容

本发明实施例提供一种流数据处理方法及设备，用于解决现有技术中在对流数据进行统计分析时严重破坏了乱序数据的完整性，导致统计分析结果的准确性较低的技术问题。

第一方面，本发明实施例提供一种流数据处理方法，在该方法中预先按照预设间隔时间设置多个数据时间窗口及每个数据时间窗口的延迟时长，所述多个数据时间窗口用于表征数据产生的不同时间段，所述延迟时间小于所述预设间隔时间，所述方法包括以下步骤：

在当前数据时间窗口接收待处理数据，并确定所述待处理数据的产生时间；

若所述产生时间大于所述当前数据时间窗口的结束时间，则将所述待处理数据缓存到所述当前数据时间窗口之后的下一个数据时间窗口中，并在确定所述产生时间未处于所述当前数据时间窗口的延迟时长对应的时间范围内，关闭所述当前数据时间窗口，及在确定所述下一个数据时间窗口关闭时对已缓存的所述待处理数据进行处理；

若所述产生时间小于所述当前数据时间窗口的起始时间，则确定所述产生时间在所述多个数据时间窗口中对应的历史数据时间窗口，并在确定所述历史数据时间窗口已关闭时，根据所述产生时间和所述预设间隔时间对所述待处理数据进行时间分组处理。

可选的，若所述产生时间小于所述当前数据时间窗口的起始时间，在确定所述产生时间在所述多个数据时间窗口中对应的历史数据时间窗口之后，进一步包括：

确定所述历史数据时间窗口未关闭时，将所述待处理数据缓存到所述历史数据时间窗口中；

确定所述历史数据时间窗口关闭时，对所述历史数据时间窗口中已缓存的待处理数据进行处理。

可选的，确定所述历史数据时间窗口未关闭，包括：

计算所述待处理数据针对所述当前数据时间窗口的到达时间；

若所述到达时间处于所述历史数据时间窗口的延迟时长对应的时间范围内，确定所述历史数据时间窗口未关闭。

可选的，在确定所述产生时间大于所述当前数据时间窗口的结束时间之后，进一步包括：