[发明专利]数据处理系统、方法及装置

权利要求书

1.一种数据处理系统，包括：

客户端、数据库节点以及对象存储服务节点；

所述数据库节点，被配置为接收所述客户端发送的数据写入指令，将所述数据写入指令添加至日志同步队列，生成所述数据写入指令的日志条目，基于预先建立的数据写入链路将所述日志条目并发写入多个任务队列，在确定所述多个任务队列中任意一个任务队列的数据量大于预设阈值的情况下，生成队列过载信息，并基于所述数据写入链路将所述任务队列过载信息反向传播至所述客户端；

所述客户端，被配置为确定接收所述任务队列过载信息的情况下，将待写入数据存储至所述对象存储服务节点。

2.根据权利要求1所述的数据处理系统，所述数据库节点，还被配置为监测所述日志同步队列以及所述多个任务队列的负载信息，若确定所述日志同步队列和/或所述多个任务队列中任意一个任务队列的负载大于预设负载阈值，则生成队列过载信息。

3.根据权利要求1或2所述的数据处理系统，所述数据库节点，还被配置为监测所述日志同步队列以及所述多个任务队列的负载信息，若确定所述日志同步队列和/或所述多个任务队列中任意一个任务队列的数据量大于预设数据量阈值，则生成队列过载信息，所述负载信息中包含所述日志同步队列和/或所述多个任务队列中任意一个任务队列的数据量。

4.根据权利要求1或2所述的数据处理系统，所述数据库节点，还被配置为将所述日志条目添加至日志应用队列，并应用所述日志应用队列中的日志条目到状态机，将所述状态机的执行结果存储至消息队列。

5.根据权利要求4所述的数据处理系统，所述数据库节点，还被配置为监测所述日志同步队列以及所述消息队列的负载信息，若确定所述日志同步队列的负载与所述消息队列的负载之间的差值大于预设阈值，则生成队列过载信息。

6.根据权利要求1所述的数据处理系统，所述数据库节点，包括一个主数据库节点以及至少两个从数据库节点；

所述主数据库节点，被配置为接收所述客户端发送的数据写入指令，将所述数据写入指令添加至日志同步队列，生成所述数据写入指令的日志条目，基于预先建立的数据写入链路将所述日志条目并发写入所述至少两个从数据库节点。

7.根据权利要求6所述的数据处理系统，所述主数据库节点，还被配置为基于预先建立的数据写入链路将所述日志条目并发写入所述至少两个从数据库节点的第一日志应用队列；

所述至少两个从数据库节点，被配置为应用所述第一日志应用队列中的所述日志条目到第一状态机，将所述第一状态机的执行结果存储至第一消息队列，并向所述主数据库节点发送日志提交成功的反馈信息；

所述主数据库节点，还被配置为在接收到所述反馈信息的情况下，将所述日志条目提交。

8.根据权利要求7所述的数据处理系统，所述主数据库节点，还被配置为在接收到所述反馈信息的情况下，将所述日志条目添加至第二日志应用队列，应用所述第二日志应用队列中的日志条目到第二状态机，并将所述第二状态机的执行结果存储至第二消息队列。

9.根据权利要求8所述的数据处理系统，所述主数据库节点，还被配置为监测所日志同步队列以及所述第二消息队列的负载信息，若确定所述日志同步队列的负载与所述第二消息队列的负载之间的差值大于预设阈值，则生成队列过载信息。

10.根据权利要求1所述的数据处理系统，所述数据库节点，还被配置为对所述多个任务队列中任意一个数据量大于预设阈值的任务队列进行加锁处理，并监测所述任意一个数据量大于预设阈值的任务队列的负载更新信息，若根据所述负载更新信息确定所述多个队列的负载均小于所述预设阈值，则向所述客户端发送队列解锁信息；

所述客户端，还被配置为接收所述队列解锁信息，获取所述对象存储服务节点中存储的所述待写入数据，并基于所述待写入数据向所述数据库节点发送数据写入指令。