[发明专利]多HiveServer2服务器场景下连接池的实现方法及系统

说明书

本发明公开了一种多HiveServer2服务器场景下连接池的实现方法及系统，方法包括：构建HiveServer2服务器状态列表，列表中HiveServer2服务器与其工作状态一一对应；接收用户请求；对多HiveServer2服务器执行负载均衡分配，返回用户请求与HiveServer2服务器的连接或连接错误信息。系统包括：多HiveServer2服务器管理模块、信息交互模块和响应模块。计算机设备和存储介质通过执行计算机程序能够实现上述方法过程。本发明能实现多HiveServer2服务器对HDFS等文件的管理，其中提出的负载均衡分配策略能够实现多HiveServer2服务器的负载均衡、故障检测、告警和自动恢复等，提高了用户请求任务执行的效率和效果，且能节省并充分利用HiveServer2服务器资源，且负载均衡分配策略的可扩展性高。

技术领域

本发明涉及大数据数据存储管理领域，特别涉及一种多HiveServer2服务器场景下连接池的实现方法及系统。

背景技术

Hadoop框架是大数据领域存储和计算大数据最优秀、最基础、应用最广泛的框架。它实现了一个优秀的分布式文件系统(Hadoop Distributed File System)，简称HDFS。如果直接通过HDFS跟大数据打交道，学习成本太高，同时开发逻辑太复杂。因此，Hive应运而生，Hive接口采用类SQL语法，学习成本低，开发逻辑简单，同时具有可扩展性，延展性，容错性。Hive实现了对HDFS文件的映射，通过连接Hive可以完成对HDFS文件的管理，而部署了Hive2.X版本以后的服务器，通常称为HiverServer2服务器。业内目前普遍是与单个HiverServer2服务器直连或使用虚拟IP的形式与多个HiverServer2服务器连接，都存在相当大的缺陷，如功能单一、配置不够灵活、硬件花费高且需要独立部署服务器等等。

发明内容

本发明的目的在于提供一种能实现多HiveServer2服务器的负载均衡、故障检测、告警和自动恢复等等的多HiveServer2服务器场景下连接池的实现方法、系统、计算机设备和存储介质。

实现本发明目的的技术解决方案为：一种多HiveServer2服务器场景下连接池的实现方法，所述方法包括：

构建HiveServer2服务器状态列表，列表中HiveServer2服务器与其工作状态一一对应；

接收用户请求；

对多HiveServer2服务器执行负载均衡分配，返回所述用户请求与HiveServer2服务器的连接信息或连接错误信息。

进一步地，所述HiveServer2服务器的工作状态包括HiveServer2服务器执行用户请求的次数、执行用户请求的耗时、当前是否正在执行用户请求以及是否故障。

进一步地，所述对多HiveServer2服务器执行负载均衡分配，包括以下过程：

检测所述HiveServer2服务器状态列表中的每个HiveServer2服务器是否故障，并由所有未发生故障的HiveServer2服务器构建可用HiveServer2服务器列表；

针对所述可用HiveServer2服务器列表中的每个HiveServer2服务器，从所述HiveServer2服务器状态列表中采集该HiveServer2服务器的工作状态；

根据所采集到的工作状态排列所述可用HiveServer2服务器列表中所有HiveServer2服务器的优先级，由此构建可用HiveServer2服务器有序列表；

依次遍历所述可用HiveServer2服务器有序列表，直至所述用户请求与某一HiveServer2服务器成功建立连接或遍历结束。