[发明专利]基于流窗口实现的实时流数据处理方法及装置

权利要求书

1.一种基于流窗口实现的实时流数据处理方法，包括：

从至少一个数据源获取实时流数据，所述实时流数据包含运单流数据及配送设施流数据；

对所述运单流数据及所述配送设施流数据进行数据联接处理，得到数据宽表；

接收用于表征压力平衡状态的单量指标数据的计算任务，根据所述单量指标数据的数据特性调用相应的流窗口的处理进程，由所述流窗口的处理进程对所述数据宽表内的数据进行聚合计算，得到对应的单量指标数据，其中包括：若数据特性为实时特性，则调用全局窗口的处理进程对所述数据进行聚合计算，在建立的单量指标数据坐标系中所述数据处于同一全局窗口中。

2.根据权利要求1所述的方法，其中，所述方法还包括：预先部署多个流窗口的处理进程，其中，各个流窗口分别对应于具有各种数据特性的单量指标数据。

3.根据权利要求1所述的方法，其中，所述根据所述单量指标数据的数据特性调用相应的流窗口的处理进程，由所述流窗口的处理进程对所述数据宽表内的数据进行聚合计算，得到对应的单量指标数据进一步包括：

建立单量指标数据坐标系，并将所述数据宽表内的数据映射到单量指标数据坐标系中，其中，坐标系的各坐标轴的坐标参数分别为：时间、单量指标数据、地理空间信息；

根据所述单量指标数据的数据特性调用相应的流窗口的处理进程，由所述流窗口的处理进程对所述单量指标数据坐标系中的数据进行聚合计算，得到对应的单量指标数据。

4.根据权利要求3所述的方法，其中，所述根据所述单量指标数据的数据特性调用相应的流窗口的处理进程，由所述流窗口的处理进程对所述单量指标数据坐标系中的数据进行聚合计算，得到对应的单量指标数据进一步包括：

根据所述单量指标数据的实时特性调用全局窗口的处理进程，由所述全局窗口的处理进程对所述单量指标数据坐标系中的数据进行聚合计算，得到各时刻的单量指标数据，其中，所述单量指标数据坐标系中的数据处于同一全局窗口中。

5.根据权利要求3所述的方法，其中，所述根据所述单量指标数据的数据特性调用相应的流窗口的处理进程，由所述流窗口的处理进程对所述单量指标数据坐标系中的数据进行聚合计算，得到对应的单量指标数据进一步包括：

根据所述单量指标数据的累计同比特性调用全局窗口的处理进程，由所述全局窗口的处理进程对所述单量指标数据坐标系中的数据进行聚合计算；

调用滚动窗口的处理进程，由所述滚动窗口的处理进程依据窗口尺寸参数对全局窗口的处理进程的聚合结果进行聚合计算，得到累计同比单量指标数据，其中，所述滚动窗口的窗口尺寸参数根据第一聚合时间确定。

6.根据权利要求3所述的方法，其中，所述根据所述单量指标数据的数据特性调用相应的流窗口的处理进程，由所述流窗口的处理进程对所述单量指标数据坐标系中的数据进行聚合计算，得到对应的单量指标数据进一步包括：

根据所述单量指标数据的切片特性调用滑动窗口的处理进程，由所述滑动窗口的处理进程依据窗口尺寸参数及滑动步长对所述单量指标数据坐标系中的数据进行聚合计算，得到切片单量指标数据，其中，所述滑动窗口的窗口尺寸参数根据第二聚合时间确定。

7.根据权利要求1-6任一项所述的方法，其中，所述运单流数据包含以下维度数据的一项或多项：运单号、运单状态、运单创建时间、运单拒单时间、运单完成时间、商圈ID、网格ID、站点ID；

所述配送设施流数据包含以下维度数据的一项或多项：配送设施ID、运单号和/或配送设施接单时间。

8.根据权利要求7所述的方法，其中，在从至少一个数据源获取实时流数据之后，所述方法还包括：

若检测到实时流数据存在部分维度数据缺失，则对所述实时流数据进行数据补全处理。

9.根据权利要求1-6任一项所述的方法，其中，在从至少一个数据源获取实时流数据之后，所述方法还包括：

若检测到实时流数据存在欺诈数据或预订单数据或重复数据，则对所述实时流数据进行数据清洗处理。