[发明专利]采用交叉备份的分布式数据库日志收集与负载调节系统及其方法在审
申请号: | 201510932777.6 | 申请日: | 2015-12-12 |
公开(公告)号: | CN105577756A | 公开(公告)日: | 2016-05-11 |
发明(设计)人: | 武新;崔维力;宋永智 | 申请(专利权)人: | 天津南大通用数据技术股份有限公司 |
主分类号: | H04L29/08 | 分类号: | H04L29/08;H04L12/24 |
代理公司: | 暂无信息 | 代理人: | 暂无信息 |
地址: | 300384 天津市西青区华苑产*** | 国省代码: | 天津;12 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 采用 交叉 备份 分布式 数据库 日志 收集 负载 调节 系统 及其 方法 | ||
1.一种采用交叉备份的分布式数据库日志收集与负载调节系统,其特征 在于包括:日志收集节点,用于定期从数据库各台机器中获取日志信息,并 将日志信息中有关系统负载的统计信息发送给负载调节节点;
负载调节节点,用于将数据库各台机器的负载信息与预先配置好的负载压力 级别比较,对各台机器的负载情况进行评估,将评估得到的负载分值发送到 请求分发节点;
请求分发节点,用于根据各台机器的负载分值,将用户下发的请求优先 发送给低负载压力的机器进行处理,若某请求对应的数据分片所在的机器全 部处于高压力的状态,则请求分发节点将请求缓存起来,暂停该请求的分发, 直到有可用机器的负载情况更新为非高压力的状态时,再将缓存的请求分发 给该机器。
2.根据权利要求1所述的采用交叉备份的分布式数据库日志收集与负载 调节系统,其特征在于:日志收集节点以不同的时间间隔到各个工作机器中 获取不同的日志信息。
3.根据权利要求1所述的采用交叉备份的分布式数据库日志收集与负载 调节系统,其特征在于:负载调节节点的评估过程为:负载调节节点从日志 收集节点获取到各台机器负载情况的日志信息,将这些信息更新到自己维护 的各台机器资源使用信息中,并根据数据库管理员预先设置的CPU、内存、 IO的资源阈值对每台机器的负载情况进行打分,即对每台机器赋予一个从1 到5的分值,分值越高机器负载越高。
4.根据权利要求3所述的采用交叉备份的分布式数据库日志收集与负载 调节系统,其特征在于:请求分发节点收到用户请求后,获取该请求所对应 的数据分片所在的机器组,然后查找该组机器的负载分值,从中找到一台负 载分值最低的机器,将请求发送给这台机器去执行。
5.根据权利要求4所述的采用交叉备份的分布式数据库日志收集与负载 调节系统,其特征在于:请求分发节点设有一缓存池,若某个请求所对应的 可用机器的负载分值均为5,即全部处于高压力状态,请求分发节点会将该 请求缓存到这个缓存池中;当请求分发节点收到新的机器负载分值后,若发 现某台机器的负载分值由5变为非5,即负载降低,会从缓存池中找到所有 可用数据分片在该机器的请求,并将这些请求发送给该机器去处理。
6.根据权利要求1至5任一项所述的采用交叉备份的分布式数据库日志 收集与负载调节系统,其特征在于:日志收集节点、负载调节节点和请求分 发节点各包括工作节点和至少一个备份节点,工作节点定期将其维护的信息 发送给相对应的备份节点,工作节点与其相应的备份节点之间有心跳检测, 若备份的节点发现工作的节点无响应,则备份的节点马上接管该无响应的节 点的任务,并向数据库管理员发送相关警报信息。
7.根据权利要求6所述的采用交叉备份的分布式数据库日志收集与负载 调节系统,其特征在于:日志收集节点收集日志、日志收集节点发送负载相 关的日志信息到负载调节节点、负载调节节点发送评估后的负载分值到请求 分发节点以及当前工作的日志收集节点、负载调节节点和请求分发节点发送 相关信息到其对应的备份节点中的时间间隔都是由管理员配置的,这些时间 间隔在系统运行的过程中可实时调节。
8.根据前述任一项权利要求所述的采用交叉备份的分布式数据库日志收 集与负载调节系统的日志收集与负载调节方法,其特征在于:
(1)日志收集节点按一定时间间隔启用多个线程从每台工作机器中获取与 系统负载相关的日志信息,以机器为单位存放,并将其发送给负载调节节点;
(2)负载调节节点利用机器负载分值标准和每台机器的负载信息对每台机 器的负载情况进行评估,以分值形式表示机器的负载压力状态,将评估得到 的负载分值发送到请求分发节点;
(3)请求分发节点接收用户下发的请求,查找出该请求对应数据分片所在 的机器集合,查找该集合中每台机器对应的负载分值,将该请求发送给最低 负载压力的机器去执行;若该请求对应数据分片所在的机器全部处于高压力 状态,请求分发节点则将该请求缓存到缓存池中,直到有可用机器的负载情 况更新为非高压力的状态时,再将缓存的请求分发给该机器。
9.根据权利要求8所述的日志收集与负载调节方法,其特征在于:日志 收集节点、负载调节节点、请求分发节点定期将其维护的负载信息进行备份。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于天津南大通用数据技术股份有限公司,未经天津南大通用数据技术股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201510932777.6/1.html,转载请声明来源钻瓜专利网。
- 上一篇:云计算分级管理方法及系统
- 下一篇:一种相邻的云间通信的支持系统及方法