[发明专利]一种基于电网大数据平台的数据库性能测试系统和方法

说明书

一种基于电网大数据平台的数据库性能测试系统和方法，所述系统包括：数据模板生成模块，数据库性能测试模块，结果生成模块。该系统和方法能够大幅降低人工测试参与工作量大、主观性强、测试效率低等问题，全面提升测试的规范化和自动化程度，实现针对于电网大数据特点及数据集成需求的灵活、可靠的数据库测试系统，为数据库全面评估、选择以及性能优化提供可靠依据，为电网安全稳定运行和决策提供有效的技术支撑。

技术领域

本发明属于电力测试技术领域，具体涉及一种基于电网大数据平台的数据库性能测试系统和方法。

背景技术

随着智能电网的迅速发展，卫星对时技术与通信技术在电力行业广泛运用，广域测量系统(WAMS)基于同步相量测量单元高精度同步采集广域电网的运行数据，为满足数据的综合使用需求，大数据平台亟需整合广域监测数据，并结合其他电网调控系统数据，形成统一的、有组织的共享资源，以及集中的数据服务环境，有利于从中分析、挖掘出有价值的信息与规律，为电网安全稳定运行和决策提供有效的技术支撑。

大数据平台的构建实现了数据的一体化存储、管理和应用，支持传统关系数据库、Hive、Hbase等多类数据库，为保证海量动态数据存储、检索、压缩等功能的有效性、可靠性以及高质量的数据服务，充分满足大数据平台和广域测量系统对海量高频采样电力信息快速存储、高效检索的实际需求，有必要面向WAMS数据对HBase数据库的存储、查询、负载等能力进行全面且规范的性能测试，为数据库全面评估、选择以及性能优化提供可靠依据。然而，目前数据库测试工具多针对于传统关系数据库，测试规则缺乏定制化设计，且测试数据不贴合真实数据。因此，结合智能电网业务和数据特点，研发一种面向电网广域监测系统(WAMS)数据的HBase数据库性能测试系统及方法，具有重要的现实意义。

发明内容

电网大数据平台整合分散于不同业务系统的多源异构数据，为全面且规范的测试大数据平台对海量高频采样WAMS数据的存储、查询能力，本发明提供一种基于电网大数据平台的数据库性能测试系统，包括：

数据模板生成模块，包括通用数据模板生成单元和自定义数据模板生成单元，用于定义数据生成格式和生成模板文件；其中，所述通用数据模板生成单元通过设置表名、列族名、列的个数及大小生成数据模板配置文件，其他参数采用默认方式系统随机生成；所述自定义数据模板生成单元针对电网WAMS数据业务应用测试场景设置Rowkey的组成方式、列的大小以及数据值类型，通过确定每一字段对应的约束规则生成数据模板配置文件；

数据库性能测试模块，用于通过数据模板自动生成测试数据，同时加载被测数据库的API，按照规定的测试约束规则生成相应的事务执行语句进行数据库性能测试，实时显示测试进度和测试结果；其中，所述测试约束规则包括通用测试规则集和业务测试规则集；数据库性能测试模块进一步包括数据写入测试单元和数据查询测试单元，分别用于提供数据写入测试和数据查询测试；

结果生成模块，用于针对不同测试类别的测试场景分别给出不同的测试结果描述，并将最终测试结果导出和存储，自动生成测试结果文档。

另一方面，本发明还提供一种基于电网大数据平台的数据库性能测试方法，所述方法包括以下步骤：

步骤1，进行定义数据生成格式和生成模板文件，将模板文件导入数据库性能测试模块；

步骤2，读取并解析所述数据模板生成模块导入的模板文件，所述模板文件包含数据模板配置文件；

步骤3，按照数据模板配置文件中描述的数据结构，自动生成测试数据并写入HBase数据库；

步骤4，根据测试用例设置或修改测试约束规则配置文件中的参数以设置测试约束规则；一个配置文件描述一个测试用例；