[发明专利]数据处理方法、多服务器系统、数据库、电子设备及存储介质

说明书

本公开提供的数据处理方法、多服务器系统、数据库、电子设备及存储介质，针对多服务器系统中的任一目标服务器，目标服务器的多个处理进程按照预设时间间隔向数据库发送心跳信息，以供数据库对心跳信息进行存储；其中，心跳信息包括处理进程标识和目标服务器标识，以及心跳时间；目标服务器的分配进程获取数据库存储的各心跳信息，并根据各心跳信息生成任务信息，将任务信息发送至数据库以供其存储；目标服务器的多个处理进程获取数据库存储的任务信息，并根据任务信息执行处理任务，从而多服务器多处理进程同步处理同一任务，提高了处理效率。

技术领域

本公开涉及数据处理领域，尤其涉及一种数据处理方法、多服务器系统、数据库、电子设备及存储介质。

背景技术

服务器和数据库之间的数据交互和信息交互是维持通信的基础。传统的通信是基于java程序实现的。

在现有的通信架构中，基于java程序是不借助spark、mapreduce等框架的，这也使得不同服务器或不同进程间无法通信。因此，在处理同一任务时，仅能采用同一服务器的同一进程多线程处理任务，其容易出现多线程锁而导致通信延迟的问题。

发明内容

针对上述提出的问题，本公开提供了一种数据处理方法、多服务器系统、数据库、电子设备及存储介质。

第一方面，本公开提供了数据处理方法，所述处理方法适用于多服务器系统，所述多服务器系统包括多个服务器，每个服务器包括有多个处理进程和一个分配进程；

所述处理方法包括：

针对多服务器系统中的任一目标服务器，所述目标服务器的多个处理进程按照预设时间间隔向数据库发送心跳信息，以供所述数据库对所述心跳信息进行存储；其中，心跳信息包括处理进程标识和目标服务器标识，以及心跳时间；

目标服务器的分配进程获取所述数据库存储的各心跳信息，并根据所述各心跳信息生成任务信息，将所述任务信息发送至数据库以供其存储；其中，所述任务信息包括有任务所需的多个数据源的源标识以及处理每个数据源的一一对应的处理进程标识，所述处理每个数据源的一一对应的处理进程标识是根据所述心跳时间确定的；

目标服务器的多个处理进程获取所述数据库存储的任务信息，并根据所述任务信息执行处理任务。

可选的，所述任务所需的多个数据源的源标识是数据库对任务所需数据的字段进行哈希处理获得的。

可选的，所述多服务器系统中还包括容器，所述容器用于存储多服务器中的各服务器的各进程在一段时间内向数据库发送的信息；

相应的，所述目标服务器的多个处理进程按照预设时间间隔向数据库发送心跳信息，包括：

所述目标服务器的多个处理进程按照预设时间间隔向容器发送心跳信息，以使所述容器生成包括有多个连续的预设时间间隔的处理进程的心跳信息集合；

所述容器将各处理进程的各心跳信息集合批量发送至数据库。

可选的，所述目标服务器的分配进程，和/或，各处理进程，采用异步接收的方式，接收所述数据库发送的各心跳信息，和/或，任务信息。

可选的，所述目标服务器的分配进程获取所述数据库存储的各心跳信息，并根据所述各心跳信息生成任务信息，包括：

根据所述各心跳信息中的心跳时间，确定处于活动状态的至少一个目标处理进程；

将任务分配至所述至少一个目标处理进程的处理进程，并生成相应的生成任务信息。

第二方面，本公开提供了一种数据处理方法，所述处理方法适用于数据库，所述数据库用于与多服务器系统进行交互，所述多服务器系统包括多个服务器，每个服务器包括有多个处理进程和一个分配进程；

所述处理方法包括：