[发明专利]一种数据处理设备、系统以及多节点数据处理方法

说明书

本申请公开了一种数据处理设备、系统以及多节点数据处理方法，该多节点数据处理方法包括：目标节点从数据库获取目标待处理数据；其中，每个待处理数据具有唯一数据ID；对目标节点的节点ID进行设定算法处理以得到第一特征值，以及对数据ID进行设定算法处理以得到第二特征值；其中，每个节点具有唯一节点ID；在第一特征值与第二特征值相同时，对目标待处理数据执行处理。通过上述方式，能够降低单一节点的负载，提高数据处理的效率。

技术领域

本申请涉及数据处理技术领域，特别是涉及一种数据处理设备、系统以及多节点数据处理方法。

背景技术

在当前的软件工程领域，特别是大数据计算领域，常常需要对数据进行处理。

当前的解决方案主要是使用分布式锁，让同一时刻只有单台机器拿到锁，消费数据，其他未拿到锁的机器不消费，避免重复消费问题。但是，当用户量大时，单节点消费数据的话耗时很长，机器负载高。

发明内容

本申请主要提供一种数据处理设备、系统以及多节点数据处理方法，能够降低单一节点的负载，提高数据处理的效率。

本申请采用的一种技术方案是提供一种多节点数据处理方法，该方法包括：目标节点从数据库获取目标待处理数据；其中，每个待处理数据具有唯一数据ID；对目标节点的节点ID进行设定算法处理以得到第一特征值，以及对数据ID进行设定算法处理以得到第二特征值；其中，每个节点具有唯一节点ID；在第一特征值与第二特征值相同时，对目标待处理数据执行处理。

其中，目标节点从数据库获取目标待处理数据的步骤，包括：目标节点从数据库获取多个待处理数据；其中，每个待处理数据具有唯一数据ID；对多个待处理数据进行乱序处理，以形成待处理数据序列；依次将待处理数据序列中的待处理数据作为目标待处理数据。

其中，目标节点从数据库获取多个待处理数据的步骤，包括：目标节点从数据库按照ID自增获取多个待处理数据。

其中，对目标节点的节点ID进行设定算法处理以得到第一特征值，以及对数据ID进行设定算法处理以得到第二特征值的步骤，包括：对目标节点的节点ID进行设定取模运算以得到第一特征值，以及对数据ID进行设定取模运算以得到第二特征值。

其中，对目标节点的节点ID进行设定取模运算以得到第一特征值，以及对数据ID进行设定取模运算以得到第二特征值的步骤，包括：对目标节点的节点ID进行模2运算以得到第一特征值，以及对数据ID进行模2运算以得到第二特征值。

其中，对目标待处理数据执行处理的步骤之后，还包括：对目标待处理数据进行加锁处理；其中，经过加锁处理的目标待处理数据在设定时间段内不能被除目标节点之外的剩余节点执行处理；将目标待处理数据的加锁信息发送给数据库。

其中，对目标节点的节点ID进行设定算法处理以得到第一特征值，以及对数据ID进行设定算法处理以得到第二特征值的步骤之前，还包括：从数据库获取目标待处理数据的加锁信息；基于加锁信息判断目标待处理数据是否能被执行处理；若是，则执行对目标节点的节点ID进行设定算法处理以得到第一特征值，以及对数据ID进行设定算法处理以得到第二特征值的步骤。

本申请采用的另一种技术方案是提供一种数据处理设备，该数据处理设备作为多个数据处理节点中的一个节点，对数据库中的待处理数据进行处理；数据处理设备包括处理器以及与处理器耦接的存储器，存储器用于存储程序数据，处理器用于执行程序数据以实现如上述的方法。

本申请采用的另一种技术方案是提供一种计算机存储介质，该计算机存储介质用于存储程序数据，程序数据在被处理器执行时，用于实现如上述的方法。

本申请采用的另一种技术方案是提供一种数据处理系统，该数据处理系统包括数据库以及与数据库连接的多个数据处理节点，每个数据处理节点是如上述的数据处理设备。