[发明专利]一种基于分布式数据库的并发弹性控制方法

说明书

本发明公开一种基于分布式数据库的并发弹性控制方法，涉及数据库技术领域。本方法针对数据导入过程中CPU资源浪费的问题，提供技术方案为：在分布式数据库的数据导入时，首先记录当前服务器系统的CPU使用率，并判断当前CPU使用率的取值范围，其次记录初始CPU逻辑核数，同时计算运行过程中并发处理时的CPU使用率、单个数据转换协程数占用的CPU资源数，再次，基于前述记录数据和计算得到的数据，计算得到稳定的单个数据转换协程数占用的CPU资源数，并进一步得到最优的并发协程数。本方法可以精确控制并发协程策略影响的cpu资源使用率在一个合理的范围内，避免资源浪费，影响用户体验。

技术领域

本发明涉及分布式数据库技术领域，具体的说是一种基于分布式数据库的并发弹性控制方法。

背景技术

数据加载，数据导入是数据库中数据迁移的一项最基本的功能之一。伴随着公司的业务增长，原来功能落后的数据库系统一定会被新的技术所迭代。而系统中存储的宝贵的业务数据也需要往新数据库系统中迁移。而现在的分布式数据库中，数据迁移往往对系统资源没有一个自动控制的方案。基本都是依据某项资源的数量情况，按照固定的策略占用资源，导入数据。这种固定的资源申请占用方式在不同的服务器硬件资源条件下，很难以相同的方式达到最高资源利用率，让数据导入达到一个最优性能。

在不同的服务器硬件条件下，每个服务器的性能不经相同。最常见的情况就是服务器的磁盘速度远远跟不上cpu的处理速度。因为服务器经常需要不停的存储大量数据，需要的磁盘空间比较大，所有常见的服务器基本都是用的比较慢的机械硬盘以满足存储大数据量的成本控制。在分布式数据库的数据导入中，经常会出现并发数据处理时，磁盘的速度远远跟不上cpu的处理速度，导致大量的并发进程占用的cpu处于wait状态，浪费了大量cpu资源。

比如InspurCloud DRDB事务型数据库，它在数据迁移中，使用最广泛的方法就是csv数据文件的导入。数据导入的一般流程为三阶段：数据文件读取-数据转换-数据文件写入。其数据导入中的数据转换阶段，并发策略是以一种固定的方式申请cpu资源，依据服务器的cpu逻辑核数，并发固定的协程数去执行其数据类型转换任务。而且在GreenPlum的数据导入也是如出一辙。这种方案没有考虑服务器系统实时的资源占用率实时变化的情况。如果在cpu已经比较繁忙时，再以这种固定的方式申请cpu资源，必然造成系统cpu资源疲劳，很多正常或者重要的业务数据，cpu响应不够及时，影响用户体验，更严重则会导致数据库集群计算节点间的心跳响应时间过长，超过心跳响应阈值，以导致集群中的节点崩溃掉。如果在cpu性能比较强而又比较闲置时，再以cpu的逻辑核数为依据并发数据转换协程，由于cpu的单核性能比较强，即单核主频较高，这种固定的并发策略反而使cpu性能利用不充分，导致宝贵的资源浪费。

发明内容

目前关于数据库系统使用场景，数据导入一般发生在两种情况下：

情况一、业务系统需要升级，更换其它性能更加强大的数据库系统，需要把原有的业务数据全部迁移到新的数据库中。该阶段因为是业务数据迁移初期，除了数据迁移没有其它业务在系统上运行，所以会尽最大可能使用资源抢占方式，几乎占用服务器系统全部资源，以使数据导入性能达到最大化。即InspurCloud DRDB事务型数据库就是如此。

情况二、业务中期和后期各个阶段，因为业务需要把不同数据库系统的数据进行合并，整合调整。该阶段数据导入不能以原有固定模式占有硬件资源，应该以当前每一批数据导入进程执行时，服务器系统硬件资源的使用情况为依据，动态实时的调整资源占有率策略，在不影响正常业务的情况下，同时进行数据导入，整合，调整到多项操作。最常见的业务场景，比如游戏服务器，有时不同游戏区服的玩家数据需要合区，原有的技术整合数据需要停止服务，因为其会占用大量服务器资源性能，具有业务中断维护的真空期。影响玩家体验和公司营利。

针对情况二，本发明提供一种基于分布式数据库的并发弹性控制方法，在不影响原有业务运营的情况下，进行数据迁移，使数据导入达到最优性能，提升数据库产品的用户体验。