[发明专利]一种分布式集群的数据处理方法、装置及系统在审
申请号: | 201810784067.7 | 申请日: | 2018-07-17 |
公开(公告)号: | CN108989106A | 公开(公告)日: | 2018-12-11 |
发明(设计)人: | 吴蜀魏;王李阳 | 申请(专利权)人: | 郑州云海信息技术有限公司 |
主分类号: | H04L12/24 | 分类号: | H04L12/24;H04L29/08 |
代理公司: | 北京集佳知识产权代理有限公司 11227 | 代理人: | 罗满 |
地址: | 450018 河南省郑州市*** | 国省代码: | 河南;41 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 目标节点 待处理数据 分布式集群 数据处理 会话信息 发送 会话管理装置 数据处理系统 数据处理效率 接收客户端 装置及系统 处理数据 管理软件 集群业务 有效地 会话 申请 共享 记录 保证 服务 | ||
1.一种分布式集群的数据处理方法,其特征在于,包括:
接收客户端发送的待处理数据;
在分布式集群中获取第一目标节点;
将所述待处理数据发送至所述第一目标节点进行处理;
通过会话管理装置记录所述第一目标节点处理所述待处理数据时的会话信息;
当所述第一目标节点处理所述待处理数据发生异常时,将所述待处理数据发送至第二目标节点,以使所述第二目标节点基于所述会话信息对所述待处理数据继续进行处理,直至所述待处理数据处理完毕。
2.如权利要求1所述的数据处理方法,其特征在于,所述在分布式集群中获取第一目标节点,包括:
通过负载均衡装置在所述分布式集群中获取当前负载最低的节点作为所述第一目标节点。
3.如权利要求2所述的数据处理方法,其特征在于,所述通过负载均衡装置在所述分布式集群中获取当前负载最低的节点作为所述第一目标节点,包括:
所述负载均衡装置获取所述分布式集群中的所有可用节点;
根据各个所述可用节点的负载因子进行计算,获得各个所述可用节点的当前负载;
对各个所述可用节点的当前负载进行比较,获得所述当前负载最低的节点,并将所述当前负载最低的节点作为所述第一目标节点。
4.如权利要求3所述的数据处理方法,其特征在于,所述负载因子包括CPU利用率、内存利用率以及IO带宽。
5.如权利要求4所述的数据处理方法,其特征在于,还包括:
当所述第一目标节点处理所述待处理数据时,所述负载均衡装置实时监控所述第一目标节点的当前负载;
当所述第一目标节点的当前负载达到预设阈值时,将所述待处理数据发送至所述第二目标节点,以使所述第二目标节点基于所述会话信息对所述待处理数据继续进行处理,直至所述待处理数据处理完毕。
6.一种分布式集群的数据处理系统,其特征在于,包括:
上位机,用于接收客户端发送的待处理数据;在分布式集群中获取第一目标节点;将所述待处理数据发送至所述第一目标节点进行处理;
会话管理装置,用于记录所述第一目标节点处理所述待处理数据时的会话信息;
多个目标节点,用于处理所述待处理数据;其中,
所述第一目标节点,用于当处理所述待处理数据发生异常时,将所述待处理数据发送至第二目标节点;
所述第二目标节点,用于接收所述会话管理装置发送的所述会话信息,并基于所述会话信息对所述待处理数据继续进行处理,直至所述待处理数据处理完毕。
7.如权利要求6所述的数据处理系统,其特征在于,还包括:
负载均衡装置,用于在所述分布式集群中获取当前负载最低的节点作为所述第一目标节点。
8.如权利要求7所述的数据处理系统,其特征在于,所述负载均衡装置具体用于获取所述分布式集群中的所有可用节点;根据各个所述可用节点的负载因子进行计算,获得各个所述可用节点的当前负载;对各个所述可用节点的当前负载进行比较,获得所述当前负载最低的节点,并将所述当前负载最低的节点作为所述第一目标节点。
9.如权利要求8所述的数据处理系统,其特征在于,所述负载因子包括CPU利用率、内存利用率以及IO带宽。
10.如权利要求9所述的数据处理系统,其特征在于,所述负载均衡装置还用于实时监控所述第一目标节点在处理所述待处理数据时的当前负载;当所述第一目标节点的当前负载达到预设阈值时,将所述待处理数据发送至所述第二目标节点,以使所述第二目标节点基于所述会话信息对所述待处理数据继续进行处理,直至所述待处理数据处理完毕。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于郑州云海信息技术有限公司,未经郑州云海信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810784067.7/1.html,转载请声明来源钻瓜专利网。