[发明专利]采用交叉备份的分布式数据库日志收集与负载调节系统及其方法

说明书

技术领域

本发明涉及分布式数据库存储技术领域，尤其涉及采用交叉备份的分布 式数据库日志收集与负载调节系统及其方法。

背景技术

在当今的云计算和大数据时代，在社会的各个领域以及各个行业，都存 在着对海量数据存储与计算的需求。传统的单机存储系统和单机数据库系统 面对着海量数据的压力与冲击，根本无法完成存储与计算的任务。而分布式 技术、高速网络传输技术以及并行计算技术的发展与成熟，使分布式数据库 成为了当前数据存储界的主流发展趋势。

分布式数据库大多数是采用多存储节点的并行工作模式，即将海量业务 数据利用某些数据分布算法散布到数据库的各台机器中，以期望每台工作机 器能够均摊整体数据量，这样使每一台机器的数据量适中，减少每一台机器 的存储与计算压力。当前业界知名的互联网巨头，例如Goolge的分布式存 储系统就是将数据分成固定大小的块，将这些数据块以一定的分布算法散布 到每个存储节点中。而当前业界知名的分布式数据库厂商的产品也是如此， 例如Vertica与GreenPlum等均是采用将海量数据散布到各个工作机器中， 以数据库集群来解决海量数据存储与计算的问题。GreenPlum采用的是多存 储节点之间交叉备份的方式来存放备份数据。

分布式数据库自然需要对数据分片进行多个备份以保持高可用性、高性 能与高度扩展灵活性。当代的业务需求，会对分布式数据库进行高并发、大 压力的访问，如果没有多个备份分片，当主分片机器损坏后，系统就无法对 外提供服务，这是不可以接受的。而采用多数据分片的架构带来的一个问题 就是数据冗余问题，此外，还有负载均衡问题。如果数据库集群中某些机器 的负载明显高于其他机器，那么这些机器很可能会在短时间内损坏，造成短 板效应。

有一些简单的保证负载均衡的方式，例如可以将请求以RoundRobin的 方式或者是随机选取的方式下发到该请求的可用机器之一。但是这些方法存 在很大缺陷，即没有充分考虑到系统中各台机器的负载情况，是一种盲目的 调节方式，因此效果并不是很好。

分布式数据库的日志管理问题也需要考虑，如何高效的收集并管理好日 志信息是一个要考虑的重要问题。如果能够从日志信息中得到系统的负载情 况，并利用这些负载数据指导数据分发模块分发请求，则是一个更加高效合 理的解决方案，并且不会对系统造成任何额外负担。

发明内容

为解决上述问题，实现利用日志信息指导系统的负载调节，本发明提供 一种采用交叉备份的分布式数据库日志收集与负载调节系统，可确保系统尽 可能的负载均衡，保护高负载的机器，以免造成机器损坏。

为实现上述目的，本发明采用的技术方案为：

一种采用交叉备份的分布式数据库日志收集与负载调节系统，包括：日 志收集节点，用于定期从数据库各台机器中获取日志信息，并将日志信息中 有关系统负载的统计信息发送给负载调节节点；负载调节节点，用于将数据 库各台机器的负载信息与预先配置好的负载压力级别比较，对各台机器的负 载情况进行评估，将评估得到的负载分值发送到请求分发节点；请求分发节 点，用于根据各台机器的负载分值，将用户下发的请求优先发送给低负载压 力的机器进行处理，若某请求对应的数据分片所在的机器全部处于高压力的 状态，则请求分发节点将请求缓存起来，暂停该请求的分发，直到有可用机 器的负载情况更新为非高压力的状态时，再将缓存的请求分发给该机器。

本发明将日志收集机制从各个工作机器中剥离，利用额外的日志收集节 点和统一的日志回收机制收集各个工作机器的各类日志信息，对日志信息进 行分类，并将不同种类的日志信息发送给不同的处理节点，而对于与系统负 载有关的日志信息，则发送给负载调节节点进行信息的统计与量化，负载调 节节点将量化的负载信息发送给请求分发节点进行负载均衡控制，以粗粒度 的方式去保证每个分片(每台机器)的负载均衡。

本发明的日志收集节点以不同的时间间隔到各个工作机器中获取不同 的日志信息。对于实时变化或者变化较为频繁的日志信息以较短的时间间隔 进行获取，例如机器的实时负载信息等；而对于非频繁变化的日志信息将以 较长的时间间隔进行获取，例如机器进程崩溃信息等。对于与机器负载相关 的统计信息，要及时地将其发送给负载调节节点。