[发明专利]实时计算中数据超时的处理方法及装置

说明书

本说明书提供实时计算中数据超时的处理方法及装置，其中所述实时计算中数据超时的处理方法包括：获取待处理数据，其中，待处理数据携带生成时间和到达时间；确定生成时间所属的目标时间窗；若到达时间超出目标时间窗，则从缓存中获取生成时间在目标时间窗内的缓存数据；基于缓存数据和待处理数据，确定目标时间窗内数据的处理结果。如此，在处理待处理数据之前，从缓存中获取与该待处理数据同一时间段生成的数据的缓存数据，根据缓存数据和待处理数据确定目标时间窗内数据的处理结果，即将同一时间段生成的数据同时进行处理，且得到的处理结果与目标时间窗对应，考虑到了数据之间的关联性，使得得到的处理结果能够满足业务需求。

技术领域

本说明书涉及数据处理技术领域，特别涉及实时计算中数据超时的处理方法及装置。

背景技术

在数据处理领域，通常可以在数据处理引擎中创建窗口，通过窗口对业务相关的数据进行处理。但由于服务器与终端的时间不一致或者网络异常等原因，可能会出现数据超时的情况，而数据超时可能会导致业务的处理出现问题。

现有技术通常可以通过两种方式来减少数据超时对业务的影响。一种是根据生成时间结合窗口进行数据超时的处理。具体地，生成时间是数据本身自带的时间，也可以称为event time(事件时间)，该种方式中每个窗口除了包括窗口时间段，还包括触发时间，且触发时间大于窗口时间段的结束时间，即每个窗口可以等待一段时间来收集数据，等到结束后才对窗口内的数据进行计算。另一种是根据到达时间结合窗口进行数据超时的处理。具体地，到达时间可以称为process time(数据开始处理的时间)，该种方式中每个窗口实时收集到达时间在窗口时间段内的数据，且在时间到达窗口时间段的结束时间时，停止收集数据，对窗口内收集到的数据进行处理，得到处理结果。

但上述第一种方式需要等待较长时间才能对窗口内的数据进行处理，实时性较低，且在数据延迟较严重的情况下，可能会丢弃超时的数据，影响处理结果的准确性。第二种方式在处理数据时不关注数据的生成时间，可能会将同一时间段生成的需要结合处理的数据通过不同的窗口分开处理，导致得到的处理结果不满足业务需求。

发明内容

有鉴于此，本说明书实施例提供了一种实时计算中数据超时的处理方法。本说明书同时涉及一种实时计算中数据超时的处理装置，一种计算设备，以及一种计算机可读存储介质，以解决现有技术中存在的技术缺陷。

根据本说明书实施例的第一方面，提供了一种实时计算中数据超时的处理方法，包括：

获取待处理数据，其中，所述待处理数据携带生成时间和到达时间；

确定所述生成时间所属的目标时间窗；

若所述到达时间超出所述目标时间窗，则从缓存中获取生成时间在所述目标时间窗内的缓存数据；

基于所述缓存数据和所述待处理数据，确定所述目标时间窗内数据的处理结果。

根据本说明书实施例的第二方面，提供了一种实时计算中数据超时的处理装置，包括：

第一获取模块，被配置为获取待处理数据，其中，所述待处理数据携带生成时间和到达时间；

第一确定模块，被配置为确定所述生成时间所属的目标时间窗；

第二获取模块，被配置为若所述到达时间超出所述目标时间窗，则从缓存中获取生成时间在所述目标时间窗内的缓存数据；

第二确定模块，被配置为基于所述缓存数据和所述待处理数据，确定所述目标时间窗内数据的处理结果。

根据本说明书实施例的第三方面，提供了一种计算设备，包括：

存储器和处理器；

所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令：