[发明专利]数据处理系统、方法及装置

说明书

本说明书实施例提供数据处理系统、方法及装置，其中所述数据处理系统包括：客户端、数据库节点以及对象存储服务节点；数据库节点，被配置为接收所述客户端发送的数据写入指令，将所述数据写入指令添加至日志同步队列，生成所述数据写入指令的日志条目，基于预先建立的数据写入链路将所述日志条目并发写入多个任务队列，在确定所述多个任务队列中任意一个任务队列的数据量大于预设阈值的情况下，生成队列过载信息，并基于所述数据写入链路将所述任务队列过载信息反向传播至所述客户端；所述客户端，被配置为确定接收所述任务队列过载信息的情况下，将待写入数据存储至所述对象存储服务节点。

技术领域

本说明书实施例涉及数据库技术领域，特别涉及一种数据处理系统。本说明书一个或者多个实施例同时涉及一种数据处理方法，一种数据处理装置，一种计算设备，以及一种计算机可读存储介质。

背景技术

在如今的云计算时代，海量数据对分布式存储系统的存储性能要求越来越高。分布式存储系统的稳定性是极其重要的，只有稳定性足够高，才能长期为用户提供持续稳定的存储服务。

由于应用的复杂性，存储系统中瞬间涌入大量写入操作的情况时有发生。这些大量的写操作由于处理不及时，容易堆积在分布式存储系统的内存中，导致集群的内存使用量暴增，不仅拖慢分布式存储的性能，严重时还会造成宕机事故。可见，这种大量写操作瞬间涌入的情况致使分布式存储系统稳定性较差。而如何处理瞬间大量的写操作，避免上述影响，已经成为了该领域急需解决的重要难题。

发明内容

有鉴于此，本说明书实施例提供了一种数据处理系统。本说明书一个或者多个实施例同时涉及一种数据处理方法，一种数据处理装置，一种计算设备，以及一种计算机可读存储介质，以解决现有技术中存在的技术缺陷。

根据本说明书实施例的第一方面，提供了一种数据处理系统，包括：

客户端、数据库节点以及对象存储服务节点；

所述数据库节点，被配置为接收所述客户端发送的数据写入指令，将所述数据写入指令添加至日志同步队列，生成所述数据写入指令的日志条目，基于预先建立的数据写入链路将所述日志条目并发写入多个任务队列，在确定所述多个任务队列中任意一个任务队列的数据量大于预设阈值的情况下，生成队列过载信息，并基于所述数据写入链路将所述任务队列过载信息反向传播至所述客户端；

所述客户端，被配置为确定接收所述任务队列过载信息的情况下，将待写入数据存储至所述对象存储服务节点。

可选地，所述数据库节点，还被配置为监测所述日志同步队列以及所述多个任务队列的负载信息，若确定所述日志同步队列和/或所述多个任务队列中任意一个任务队列的负载大于预设负载阈值，则生成队列过载信息。

可选地，所述数据库节点，还被配置为监测所述日志同步队列以及所述多个任务队列的负载信息，若确定所述日志同步队列和/或所述多个任务队列中任意一个任务队列的数据量大于预设数据量阈值，则生成队列过载信息，所述负载信息中包含所述日志同步队列和/或所述多个任务队列中任意一个任务队列的数据量。

可选地，所述数据库节点，还被配置为将所述日志条目添加至日志应用队列，并应用所述日志应用队列中的日志条目到状态机，将所述状态机的执行结果存储至消息队列。

可选地，所述数据库节点，还被配置为监测所述日志同步队列以及所述消息队列的负载信息，若确定所述日志同步队列的负载与所述消息队列的负载之间的差值大于预设阈值，则生成队列过载信息。

可选地，所述数据库节点，包括一个主数据库节点以及至少两个从数据库节点；

所述主数据库节点，被配置为接收所述客户端发送的数据写入指令，将所述数据写入指令添加至日志同步队列，生成所述数据写入指令的日志条目，基于预先建立的数据写入链路将所述日志条目并发写入所述至少两个从数据库节点。