[发明专利]基于动态评估的并行化分布式数据库引擎测试方法及系统

说明书

本发明提供了一种基于动态评估的并行化分布式数据库引擎测试方法及系统，具体步骤为：服务端设置多个测试集群，确定需要测试的用例，并将需要测试的用例分组，每组用例组中的用例估算耗时总和接近；以并行方式在多个测试集群上部署数据库，每个测试集群组执行一组用例，读取并执行用例组，返回结果，将返回结果与用例预期结果对比，获取对比结果，记录用例执行对比信息；所有用例执行结束后，数据库中设置记录用例执行对比信息的用例结果表。本发明解决了现有数据库进行用例测试时，效率低、资源利用率低、与预期结果对比误差大的问题。

技术领域

本发明属于分布式数据库的测试领域，尤其是涉及一种基于动态评估的并行化分布式数据库引擎测试方法及系统。

背景技术

作为分布式数据库，GBase 8a数据库拥有数量极其庞大的执行引擎功能测试用例组，从GBase 8a分布式数据库产品之前传统的自动化测试情况来看，存在以下几个问题：

1.执行速度慢：由于用例组极为庞大，导致传统的基于物理机的串行自动化测试执行速度较慢，在回归验证等追求时效性的测试场景下劣势明显。

2.资源利用率低：由于分布式数据库功能的复杂性和部署的分布式特性，需要的测试执行环境比较复杂，传统测试方式无法做到高效的利用计算和存储资源；

3.结果比对误差大：由于传统的测试方法通常是采用基于数据库结果集的纯文本比对方式，从而造成比对的结果准确率不高，误报率较高。

4.与其他系统集成度低：由于传统的黑盒测试方法一般没有与源代码管理系统、持续集成系统、任务管理系统以及邮件系统等平台进行集成，而使得整个功能比较孤立，无法进行更深入和完善的自动化和智能化开发。

基于上述原因，对于GBase 8a分布式数据库的执行引擎功能测试来说，急需一种高效和智能的自动化测试方法。

发明内容

有鉴于此，本发明旨在提出一种基于动态评估的并行化分布式数据库引擎测试方法及系统，以解决现有数据库进行用例测试时，效率低、资源利用率低、与预期结果对比误差大、集成度低的问题。

为达到上述目的，本发明的技术方案是这样实现的：

一方面，本申请提出基于动态评估的并行化分布式数据库引擎测试方法，具体步骤如下：

S1、服务端进行测试任务前的准备，设置多个测试集群，根据测试任务确定需要测试的用例，并将需要测试的用例分成与测试集群个数对应的用例组，每个测试集群对应测试一组用例组，保证每一组中的用例估算耗时总和接近，每组用例组动态生成用于后期测试的执行代码；

S2、服务端正式执行测试任务，以并行方式在多个测试集群上部署数据库，执行用例组的执行代码，每个测试集群组中的用例执行步骤为：读取并执行用例组，返回结果，将返回结果与用例预期结果对比，获取对比结果，记录用例用时，将每个用例执行及对比时获取的信息记录到一个对应的记录对象中；

S3、所有用例执行结束后，将步骤S25中的记录对象导入数据库，数据库中设置用例结果表，用例结果表记录记录对象中的信息。

进一步的，步骤S1中，服务端进行测试任务前的准备，设置多个测试集群，根据测试任务确定需要测试的用例，并将需要测试的用例分成与测试集群个数对应的用例组，保证每一组中的用例估算耗时总和接近，每组用例组动态生成用于后期测试的执行代码，具体步骤如下：

S11、查询当前服务端资源余量，根据内存占用情况创建N个测试集群；

S12、根据测试任务确定测试需要执行的M条用例，将需要执行的M条用例逐条估算历史平均耗时，获得每条用例的“估算耗时”；

S13、进行用例分组计算，将M条用例分成N组用例组，并尽量保证每一组中的用例估算耗时总和接近；