[发明专利]一种可扩展的大数据高可用的实现方法在审
申请号: | 201711339686.7 | 申请日: | 2017-12-14 |
公开(公告)号: | CN108228393A | 公开(公告)日: | 2018-06-29 |
发明(设计)人: | 万宝月;杨进展 | 申请(专利权)人: | 浙江航天恒嘉数据科技有限公司 |
主分类号: | G06F11/16 | 分类号: | G06F11/16;G06F9/50 |
代理公司: | 北京轻创知识产权代理有限公司 11212 | 代理人: | 陈薇 |
地址: | 314201 浙江省嘉兴市嘉*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 主控制器 备控制器 第一数据 临时节点 目录结构 可用 控制器 激活 大数据 可扩展 超时 进程 删除 接管 分布式处理 节点配置 进程服务 信息通过 重新创建 构建 拉起 监视 共享 创建 | ||
1.一种可扩展的大数据高可用的实现方法,其特征在于:包括以下步骤,
在Zookeeper中构建第一数据目录结构,并为每个节点配置两个控制器,分别为主控制器和备控制器;
初始时,设置主控制器为激活进程,且主控制器在第一数据目录结构中存储的主控制信息的控制下,并按照第一数据目录结构中存储的节点服务信息管辖对应节点的服务进程;
当主控制器宕机时,则主控制器在第一数据目录结构中创建的临时节点被超时删除;
备控制器收到临时节点被超时删除的通知后,在第一数据目录结构中重新创建临时节点,并接管成为激活进程,且备控制器在第一数据目录结构中存储的备控制信息的控制下,并按照第一数据目录结构中存储的节点服务信息接管对应节点的服务进程;
备控制器接管成为激活进程的同时,重新拉起主控制器的进程。
2.根据权利要求1所述的一种可扩展的大数据高可用的实现方法,其特征在于:所述第一数据目录结构包括根目录、二级目录和三级目录,其中,根目录命名为项目名称,二级目录为各节点的主机名,三级目录中创建有节点控制信息文件和节点服务信息文件,节点控制信息文件包括激活信息文件、主控制信息文件和备控制信息文件;
所述节点服务信息存储在节点服务信息文件中,主控制器或备控制器创建的临时节点存储在激活信息文件中,所述主控制信息存储在主控制信息文件中,所述备控制信息存储在备控制信息文件。
3.根据权利要求2所述的一种可扩展的大数据高可用的实现方法,其特征在于:主控制器和备控制器根据所述激活信息文件中记录的临时节点实时检查自身的激活状态;
当主控制器或备控制器检查到自己处于激活状态时,则主控制器或备控制器继续检查自己拥有服务进程的状态,并按照预设的算法对已经停止的服务进程进行处理。
4.根据权利要求3所述的一种可扩展的大数据高可用的实现方法,其特征在于:在主控制器宕机前,主控制器将正在运行的服务进程的服务信息存放在所述节点服务信息文件上;
当主控制器宕机后,备控制器接管成为激活进程时,备控制器根据所述节点服务信息文件上记录的服务信息来检测主控制器宕机之前的服务进程是否存在。
5.根据权利要求4所述的一种可扩展的大数据高可用的实现方法,其特征在于:当备控制器检测到主控制器宕机之前的服务进程存在并且处于健康状态时,则备控制器对主控制器宕机之前的服务进程进行接管;
在备控制器宕机前,备控制器将正在运行的服务进程的服务信息存放在所述节点服务信息文件上。
6.根据权利要求1至5任一项所述的一种可扩展的大数据高可用的实现方法,其特征在于:处于激活状态的控制器管辖对应节点的服务进程,包括控制节点的负载均衡,处于激活状态的控制器控制节点的负载均衡的步骤包括,
在Zookeeper中构建第二数据目录结构,并将节点启动服务进程的配置信息存储在第二数据目录结构中;
处于激活状态的控制器根据所述节点服务信息监控多个相互独立的服务类别,并根据每个服务类别下的节点数量和配置信息分别对每个服务进程进行单独调度。
7.根据权利要求6所述的一种可扩展的大数据高可用的实现方法,其特征在于:所述第二数据目录结构包括根目录、二级目录、三级目录和四级目录,其中,根目录命名为项目名称,二级目录命名为负载均衡主目录,三级目录为各节点下的服务类别,四级目录中创建有配置信息文件和节点信息文件,节点信息文件命名为各节点的主机名称;所述配置信息存储在所述配置信息文件中。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于浙江航天恒嘉数据科技有限公司,未经浙江航天恒嘉数据科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201711339686.7/1.html,转载请声明来源钻瓜专利网。
- 上一篇:控制设备
- 下一篇:一种服务器双BIOS Flash控制系统及方法