[发明专利]铁路地质灾害监测分布式数据库集群的扩展方法与系统

说明书

本发明公开了一种铁路地质灾害监测分布式数据库集群扩展方法及系统，包括：获取用户的节点扩展请求，节点拓展请求包括：监测数据的类型与频率；获取多个从节点的状态参数；根据状态参数对多个从节点进行评估，将分值最高的n个从节点推荐给用户；获取用户选择的n个从节点，根据用户选择的n个从节点进行分布式数据库集群的自动扩展。本发明通过在用户的每一次节点扩展请求中，对集群中各从节点性能的状态参数进行实时评价、从而能够为用户提供最优从节点供用户进行参考，辅助用户做出正确的选择；并在用户进行节点选择后，通过在预置在系统中的配置管理控制方法控制分布式数据库集群进行节点的自动扩展，无需进行复杂的人工文件配置。

技术领域

本发明涉及铁路地质灾害监测分布式数据库配置管理技术领域，特别涉及一种铁路地质灾害监测分布式数据库集群的扩展方法与系统。

背景技术

随着铁路沿线工点地质灾害监测的数据不断增长，受单个服务器的存储容量和数据访问请求性能的限制，原来的数据库服务器横向扩展无法满足多个新增工点的海量数据存储需求。例如，在边坡应用中，监测设备可能达到10万台，每台设备每天产生24种数据。同时还要能够保证数据在1.5s内写入100000条以及查询1000000行数据的时间小于2s。那么随着时间逐渐增长，原有单个节点的数据库远远无法满足数据存储和访问的需求。因此，需要通过分布式数据库集群来对铁路地质灾害监测数据进行存储。

Mycat是一个典型的数据库集群中间件开源软件，其基于阿里巴巴开源的 cobar上开发而来。它能够快速地对开源数据库MySQL进行数据库集群管理，便于实现数据库服务器节点水平扩展，以便支撑日益增长的数据量。该数据库集群中间件软件提供了水平切分、垂直切分的功能，还提供了读写分离、宕机自动切换等功能。Mycat还支持原生的MySQL协议，所以其客户端可以是任意语言以及平台。由于它采用NIO实现数据处理，所以其能更好地解决高并发的问题，支持大量的数据请求访问。它支持常用的SUM、COUNT等聚合函数，并且支持跨库分页、跨库两表join操作，支持分布式事务等。通过Mycat数据库集群中间件能够提供存储和访问大量数据的能力。同时通过MySQL数据库的主从复制技术与Mycat数据库中间件的读写分离和故障自动切换功能可以保证数据高效访问以及高可用。同时，通过负载均衡器可以保证整个集群的高性能，而通过虚拟IP技术则可以保证负载均衡器的高可用。最终就会构建一个高性能高可用的分布式数据库集群平台。基于上述Mycat的性能优势，将Mycat分布式数据库集群平台应用于铁路地质灾害监测中，能够满足于铁路地质灾害监测数据库集群存储的需求。

但是在分布式数据库集群平台扩展数据库服务器节点的过程中，每扩展一个节点都需要修改分布式数据库集群平台中Mycat数据库中间件服务器的多个配置文件。特别是当分布式数据库集群平台中使用多个Mycat数据库中间件服务器时，对各个Mycat服务器配置文件修改会一个非常麻烦的事情。此外，人工手动修改服务器配置文件可能会带来误操作，使得Mycat中间件服务器在修改配置文件后重启失败，从而导致系统业务处理会中断一段时间。并且在铁路沿线工点地质灾害监测分析应用中，需要监测的铁路沿线工点是逐步增加、且每次增加的传感器种类也可能是变化的，也就是监测数据类型与频率是不断变化的，这就要求需要数据库集群平台可以根据监测数据增长动态加入数据库服务器节点；此外，铁路地质灾害监测分析应用系统中的数据库集群平台规模较大，使用了多台数据库中间件Mycat服务器。每当在铁路监测工点中增加一个或两个传感器设备时，其监测数据存储就需要扩充1个MySQL数据库服务器节点。因此，在铁路沿线工点地质灾害监测分析应用中，相应的分布式数据库集群平台需要频繁、动态、实时地进行节点的扩展与修改。而在节点扩展的过程中，如果仅由工作人员进行节点的自主选择与设定，工作人员可能会因为频繁地进行节点扩展选择而出现人为错误选择或者无法做出选择；而错误的选择可能会存在选择到状态不佳的节点、导致分布式数据库集群系统出现效率低下的问题。并且由于在每个节点服务器加入集群平台的过程中，都需要在中间件服务器的几个配置文件中进行参数配置处理。如果数据库集群的服务器节点增加是采用人工手动修改多个中间件服务器配置文件的方式来添加服务器节点，会特别繁琐，并且会带来人工修改配置容易出错、业务系统暂停服务、平台运维人员要求高等问题。