[发明专利]一种数据处理方法、装置、设备、系统和存储介质

权利要求书

1.一种数据处理方法，其特征在于，应用于Spark的执行器，所述执行器为至少一个，所述方法包括：

从分布式累加器获取目标变量的累加值，其中，所述累加值是分布式累加器根据Spark的执行器发送的累加信息获得的；

判断所述累加值是否满足预设条件，得到判断结果；

根据所述判断结果确定处理方式。

2.根据权利要求1所述的方法，其特征在于，所述从分布式累加器获取目标变量的累加值，包括：

通过累加器连接装置向所述分布式累加器发送累加请求；

接收所述分布式累加器通过所述累加器连接装置发送的所述累加值。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获得所述目标变量的累加信息；

向所述分布式累加器发送所述目标变量的累加信息。

4.一种数据处理方法，其特征在于，应用于分布式累加器，所述方法包括：

向Spark的执行器发送目标变量的累加值，其中，所述累加值是根据Spark中的执行器发送的累加信息获得的。

5.根据权利要求4所述的方法，其特征在于，所述向Spark的执行器发送目标变量的累加值，包括：

接收所述执行器通过累加器连接装置发送的累加请求；

根据所述累加请求，确定所述目标变量的关键值；

根据所述目标变量的关键值，获得所述目标变量的累加值；

通过所述累加器连接装置向所述执行器发送所述目标变量的累加值。

6.根据权利要求4所述的方法，其特征在于，所述方法还包括：

接收所述执行器通过累加器连接装置发送的所述目标变量的累加信息；

根据所述累加信息和存储的所述目标变量的累加值，更新所述目标变量的累加值。

7.根据权利要求4-6任一项所述的方法，其特征在于，所述方法还包括：

向所述Spark中的驱动器发送所述目标变量的最终累加值。

8.一种数据处理装置，其特征在于，应用于Spark中的执行器，包括：

获取模块，用于从分布式累加器获取目标变量的累加值，其中，所述累加值是所述分布式累加器根据Spark中的执行器发送的累加信息获得的；

判断模块，用于判断所述累加值是否满足预设条件，得到判断结果；

处理模块，用于根据所述判断结果确定处理方式。

9.一种数据处理装置，其特征在于，应用于分布式累加器，包括：

发送模块，用于向Spark的执行器发送目标变量的累加值，其中，所述累加值是根据Spark中的执行器发送的累加信息获得的。

10.一种电子设备，包括：收发器、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的程序，所述收发器用于在所述处理器的控制下接收和发送数据；其特征在于，

所述处理器，用于读取存储器中的程序实现如权利要求1至3中任一项所述的方法中的步骤；或者实现如权利要求4至7中任一项所述的方法中的步骤。

11.一种计算机可读存储介质，用于存储计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至3中任一项所述的方法中的步骤；或者实现如权利要求4至7中任一项所述的方法中的步骤。

12.一种数据处理系统，其特征在于，包括：Spark中的执行器，分布式累加器；

所述分布式累加器，用于向所述执行器发送目标变量的累加值，其中，所述累加值是根据Spark中的执行器发送的累加信息获得的；

所述执行器，用于从分布式累加器获取所述目标变量的累加值，判断所述累加值是否满足预设条件，得到判断结果；根据所述判断结果确定处理方式。

13.根据权利要求12所述的系统，其特征在于，所述系统还包括：

Spark的驱动器，用于向所述分布式累加器发送目标变量的初始化值，并从所述分布式累加器获得所述目标变量的最终累加值。