[发明专利]一种数据仓库测试方法

说明书

技术领域

本发明涉及数据仓库技术，更具体地说，涉及一种数据仓库测试方法。

背景技术

数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，其主要功能是进行分析型处理。数据仓库技术是企业经营分析系统的基础。经营分析系统可通过分析运营数据，为管理决策提供支持。随着网络技术和计算机应用的发展，互联网、电信和银行等行业的企业在运营过程中产生的数据量快速膨胀，对数据仓库的性能、可扩展性等有着巨大影响。传统的集中式数据仓库架构已经无法满足大型企业的经营分析系统在数据集成性、及时性和查询响应时间等各方面的要求。目前集团型企业和大型互联网企业均采用分布式的数据仓库架构设计，有效地提高了系统性能。在强调数据准确性和可用性的背景下，对经营分析系统的分布式数据仓库建立起一套完善的测试方法，可以获得系统架构和数据仓库在性能方面的分析结果，以便于验证各类数据仓库解决方案或产品的支持能力。

现有的数据仓库的测试方法多是针对传统的集中型数据仓库提出，例如业界广泛使用的TPC-H标准。TPC-H主要目的是评价特定查询的决策支持能力，强调服务器在数据挖掘、分析处理方面的能力。然而TPC-H的问题模型并不适合现在的分布式数据仓库：TPC-H测试模型对数据量的要求最大为TB级，并发量相对较小；TPC-H测试模型为数据库服务器连续7×24小时工作，可能只有1次/月的维护；多用户并发执行复杂的动态查询，同时有并发执行表修改操作。这与新型的分布式数据仓库的问题模型有很大差异。

针对现有的数据仓库的测试方法不再适用于新型分布式数据仓库的问题模型，有必要建立新的数据仓库的测试方法，以适应新型数据仓库架构的特点。

发明内容

本发明的目的在于，针对现有的测试方法无法准确、快速的反应新型数据仓库性能的缺陷，提供一种数据仓库测试方法以解决上述问题。

本发明解决上述问题的方案是：提供一种数据仓库测试方法，包括以下步骤：

S1、确定待测试的数据仓库环境；

S2、建立基于业务数据的数据模型；

S3、建立测试用例，对数据仓库进行测试；

S4、记录测试结果。

本发明的数据仓库测试方法，其中步骤S2包括：

描述测试所采用的数据表及其结构、数据表的使用及在测试过程中对数据表的操作；对数据量的要求可达到PB级（100万GB）。

本发明的数据仓库测试方法，其中步骤S3中，测试用例包括：

S31、功能测试；

S32、性能测试；

S33、稳定性测试；

S34、可扩展测试；

S35、可用性测试；

S36、个性化测试。

本发明的数据仓库测试方法，其中步骤S31包括：

S311、测试数据仓库对SQL标准（Structured Query Language，结构化谘询语言）的支持；

S312、测试数据仓库对OLAP函数（Online Analytical Processing联机分析处理）的支持；

S313、测试数据仓库对多租户架构下资源负载管理功能；

S314、测试数据仓库对日志、监控和告警系统管理的支持。

本发明的数据仓库测试方法，其中步骤S32包括：

S321、数据加载测试；

S322、基本操作测试；

S323、即席查询测试；

S324、数据的Rollback（回滚）操作测试；

S325、并发多任务测试；

S326、数据库数据导出测试；

S327、端到端测试；

S328、压力测试。

本发明的数据仓库的性能测试方法，其中步骤S321包括：

单表数据加载的性能测试和多表数据加载的性能测试。

本发明的数据仓库的性能测试方法，其中步骤S322包括：

·全表扫描测试，用于测试不同记录数级别的数据表全表扫描查询性能；

·多表关联测试，用于测试两个大表通过分区键关联时候的性能表现；

·Merge（合并）操作测试，用于测试Merge操作的性能；

·Insert（插入）操作测试，用于测试单表数据的INSERT操作性能；

·Update（更新）操作测试，用于测试单表update操作性能；

·Delete（删除）操作测试，用于测试单表delete操作性能；

·嵌套操作测试，用于测试SQL嵌套操作的性能；