[发明专利]一种基于电网大数据平台的数据库性能测试系统和方法在审
申请号: | 201911401289.7 | 申请日: | 2019-12-31 |
公开(公告)号: | CN111240961A | 公开(公告)日: | 2020-06-05 |
发明(设计)人: | 谢琳;张林鹏;叶瑞丽;陈振宇;狄方春;黄运豪;李大鹏;陶蕾;杨清波;崔灿;夏文跃;李宇佳;王佳琪;王岩 | 申请(专利权)人: | 中国电力科学研究院有限公司 |
主分类号: | G06F11/36 | 分类号: | G06F11/36;G06Q50/06 |
代理公司: | 北京安博达知识产权代理有限公司 11271 | 代理人: | 徐国文 |
地址: | 100192 北*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 网大 数据 平台 数据库 性能 测试 系统 方法 | ||
1.一种基于电网大数据平台的数据库性能测试系统,其特征在于,包括:
数据模板生成模块,包括通用数据模板生成单元和自定义数据模板生成单元,用于定义数据生成格式和生成模板文件;其中,所述通用数据模板生成单元通过设置表名、列族名、列的个数及大小生成数据模板配置文件,其他参数采用默认方式系统随机生成;所述自定义数据模板生成单元针对电网WAMS数据业务应用测试场景设置Rowkey的组成方式、列的大小以及数据值类型,通过确定每一字段对应的约束规则生成数据模板配置文件;
数据库性能测试模块,用于通过数据模板自动生成测试数据,同时加载被测数据库的API,按照规定的测试约束规则生成相应的事务执行语句进行数据库性能测试,实时显示测试进度和测试结果;其中,所述测试约束规则包括通用测试规则集和业务测试规则集;数据库性能测试模块进一步包括数据写入测试单元和数据查询测试单元,分别用于提供数据写入测试和数据查询测试;
结果生成模块,用于针对不同测试类别的测试场景分别给出不同的测试结果描述,并将最终测试结果导出和存储,自动生成测试结果文档。
2.根据权利要求1所述的系统,其中,所述数据库性能测试支持insert、read、scan、update中的一种或多种测试场景。
3.根据权利要求1所述的系统,其中,所述被测数据库包括面向电网WAMS数据的HBase数据库。
4.根据权利要求1所述的系统,其中,所述测试约束规则依据HBase表结构设计原则和电网WAMS数据逻辑结构制定。
5.根据权利要求1所述的系统,其中,所述测试约束规则通过设置或修改其配置文件中的参数进行设置,配置文件中的参数包括:测试数据集的记录条数、测试过程中执行操作总数、所需操作字段,读写更新比例、请求分布方式以及线程数量中的一种或多种;所述测试约束规则涵盖的测试大类包括数据库读写更新的单类型操作和/或多类型组合操作。
6.根据权利要求1所述的系统,其中,所述通用测试规则包括:不同量级数据写操作测试、不同量级数据读操作测试、数据扫描操作测试中的一种或多种;所述业务测试规则包括:秒级WAMS数据写入测试、分钟级WAMS数据写入测试、多测点秒级WAMS数据查询测试、多测点1秒内第0毫秒WAMS数据查询测试、多测点分钟/小时级别数据查询测试中的一种或多种。
7.根据权利要求1所述的系统,其中,所述数据库性能测试模块,集成数据模板导入接口、数据库服务加载接口和测试规则集接入接口,对不同类型的配置文件进行验证和整合,通过所述数据模板获取对应的表和表结构,根据加载的数据库类型将被测数据库的API转为所述数据库性能测试系统的API,按照测试约束规则生成相应的事务执行语句,调用相应测试单元的服务,向服务器端发出测试请求进行测试。
8.一种基于电网大数据平台的数据库性能测试方法,通过如权利要求1-7之一的数据库性能测试系统实现,其特征在于,所述方法包括以下步骤:
步骤1,进行定义数据生成格式和生成模板文件,将模板文件导入数据库性能测试模块;
步骤2,读取并解析所述数据模板生成模块导入的模板文件,所述模板文件包含数据模板配置文件;
步骤3,按照数据模板配置文件中描述的数据结构,自动生成测试数据并写入HBase数据库;
步骤4,根据测试用例设置或修改测试约束规则配置文件中的参数以设置测试约束规则;一个配置文件描述一个测试用例;
步骤5,进行数据库连接正确性校验,调用HBase对应的JDBC,获取数据库连接信息,若连接成功即返回true,反之返回false;其中,数据库连接信息至少包括:数据库类型、IP、端口、用户名、密码;
步骤6,执行测试任务,对测试约束规则配置文件进行解析,获取具体测试内容信息,若为读写更新的单类型任务操作,则调用相应任务类型的基础函数库进行测试,获取测试结果;若为读写更新的多类型组合任务操作,则分别调用各自任务类型的基础函数库,按任务分配比例同时进行测试,获取测试结果;其中,所述具体测试内容信息至少包括:待测表名、列族名、操作执行总数、事务操作类型、事务操作比例;测试过程中实时显示测试进度和测试结果,对操作执行时间、操作执行的吞吐量、操作执行总数、每次操作平均延迟时间以及操作成功返回数进行展示,
步骤7,针对不同测试类别的测试场景分别得到不同的测试结果描述,将最终测试结果导出和存储,自动生成测试结果文档;所述测试结果文档包括:由所述数据库性能测试系统在执行的每个指定性能测试所统计的性能统计信息、数据库性能测试的结果信息,用于执行测试的测试脚本及被测数据库执行的操作,所被测数据库的数据库环境参数。
步骤8,执行测试分析以分析测试结果文档中的信息,判断数据库性能测试结果是否位于预设的合理区间内,依据判断结果生成测试分析报告。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国电力科学研究院有限公司,未经中国电力科学研究院有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911401289.7/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置