[发明专利]一种流数据处理的方法、装置及系统

权利要求书

1.一种流数据处理方法，所述方法应用于流计算系统中的工作节点，所述工作节点上部署有至少一个源算子，以处理业务数据，其特征在于，所述方法包括：

获取所述源算子的初始分时下限值；

接收所述业务数据，将所述业务数据流封装成三元组流数据，所述三元组流数据携带有时间戳和唯一标识该业务数据的数据标识；

根据所述三元组流数据及所述源算子的初始分时下限值构建小批量数据集mini-batch，所述时间戳用于指示所述构建过程中数据的有序性，所述唯一标识用于指示所述构建过程中数据的唯一性；

对所述小批量数据集mini-batch进行处理，输出处理后的数据。

2.根据权利要求1所述的方法，其特征在于，在所述对所述小批量数据集mini-batch进行处理之后，所述方法还包括：

根据所述构建小批量数据集mini-batch的构建时间，和所述对所述小批量数据集mini-batch进行处理的处理时间，输出分时下限值调节因子，所述分时下限值调节因子用于调节所述源算子的下游算子的初始分时下限值；所述下游算子在所述源算子所在的工作节点上，或者，所述下游算子在所述源算子所在工作节点的下游工作节点上。

3.根据权利要求1或2所述的方法，其特征在于，所述将所述业务数据封装成三元组流数据包括：

为所述业务数据中的各个元组分别添加数据标识形成所述三元组流数据，所述数据标识至少包括时间戳和唯一标识。

4.根据权利要求1或2所述的方法，其特征在于，所述初始分时下限值是由所述流计算系统的主控节点预设的，所述初始分时下限值为用于构建小批量数据集mini-batch的时间阈值。

5.根据权利要求4所述的方法，其特征在于，所述根据所述三元组流数据及所述源算子的初始分时下限值构建小批量数据集mini-batch，包括：

将所述三元组流数据按所述时间阈值进行分批构建所述小批量数据集mini-batch。

6.一种流数据处理方法，所述方法应用于流计算系统中的工作节点，所述工作节点上部署有至少一个第一算子，以处理业务数据，其特征在于，所述方法包括：

获取所述第一算子初始分时下限值；

接收所述第一算子的上游算子输出的数据及第一分时下限值调节因子；

根据所述第一分时下限值调节因子对所述第一算子初始分时下限值进行调节，得到调节后的分时下限值；

根据所述上游算子输出的数据及所述调节后的分时下限值构建小批量数据集mini-batch；

对所述小批量数据集mini-batch进行处理，输出处理后的数据。

7.根据权利要求6所述的方法，其特征在于，在所述对所述小批量数据集mini-batch进行处理之后，所述方法还包括：

根据所述构建小批量数据集mini-batch的构建时间，和所述对所述小批量数据集mini-batch进行处理的处理时间，输出第二分时下限值调节因子，所述第二分时下限值调节因子用于调节所述第一算子的下游算子的初始分时下限值；所述下游算子在所述第一算子所在的工作节点上，或者，所述下游算子在所述第一算子所在的工作节点的下游工作节点上。

8.根据权利要求6或7所述的方法，其特征在于，所述上游算子输出的数据为经过封装的流数据，所述经过封装的流数据中包括多个元组，所述多个元组中各元组分别包含该元组的时间戳和唯一标识，所述时间戳用于指示所述小批量数据集mini-batch构建过程中数据的有序性，所述唯一标识用于指示所述小批量数据集mini-batch构建过程中数据的唯一性。

9.根据权利要求6或7所述的方法，其特征在于，所述初始分时下限值是由所述流计算系统的主控节点预设的，所述初始分时下限值为用于构建小批量数据集mini-batch的时间阈值。

10.根据权利要求9所述的方法，其特征在于，所述根据所述上游算子输出的数据及所述调节后的分时下限值构建小批量数据集mini-batch，包括：

将所述上游算子输出的数据按所述时间阈值进行分批构建所述小批量数据集mini-batch。