[发明专利]一种面向并发OLAP的测试数据分层聚簇查询处理系统及方法

摘要

本发明公开了一种面向并发OLAP的测试数据分层聚簇查询处理系统及方法，通过分层抽点、聚簇、索引组织表、大对象存储等一系列DBMS技术，降低并发OLAP中测试数据访问中的I/O代价，从而提高并发查询的处理能力。本发明在数据库管理系统中针对I/O性能和并行OLAP处理性能实现了并发查询处理优化技术，支持面向I/O性能来优化设置并发OLAP处理负载，从而提高了测试数据波形显示的可预期访问性能，实现了大规模并发OLAP的测试数据查询的加速处理。

主权项

一种面向并发OLAP的测试数据分层聚簇查询处理系统，其特征在于包括：数据接口模块、分层抽点模块、聚簇存储模块、索引组织表模块、大对象存储模块、文档管理模块和综合查询模块；数据接口模块，建立与外部的测试部分的数据接口，接收上述外部测试部分产生测试数据，建立Oracle镜像，实现定时读取上述外部测试部分产生的测试数据，存储于Oracle数据库服务器，供分层抽点模块和文档管理模块调用；分层抽点模块，读取数据接口模块产生的测试数据，其进行分层的CUBE计算，生成树形的数据层次结构，用户实际向系统发出查询请求时，系统由分层数据结构树根部开始检索，向叶子端逐层访问，分层抽点模块生成分层数据供聚簇存储模块调用；聚簇存储模块，读取分层抽点模块产生的分层数据，对分层数据采用聚簇的形式存储，以实验ID和时间戳两个属性列为聚簇因子存储曲线数据，控制数据存储位置，生成聚簇数据供索引组织表模块调用；索引组织表模块，读取分层抽点模块、聚簇存储模块产生的分层数据，调用关系数据库索引组织表函数，采用索引组织表的形式存储，将分层抽点数据转化成索引组织表形式，本模块所生成的索引组织表存储数据供综合查询模块调用；大对象存储模块，读取分层抽点模块、聚簇存储模块产生的最底层数据采用大对象BLOB形式存储，以实验和物理量为单位存储于数据库的BLOB字段中，以支持各种复杂的用户查询，每个BLOB对应一个实验的一个物理量，在用户对本系统访问中，采用二进制数据检索技术，实现起止点+偏移量OFFSET的访问方式；大对象存储的BLOB产生数据供综合查询模块调用；文档管理模块，读取数据接口模块产生的文档数据，实现测试用例与测试文档管理模块实现全过程文档管理，所述全过程文档管理包括测试用例、测试结果、任务书、需求分析报告、阶段验收报告、最终验收报告、线路图、用户手册，实现版本控制，产生文档数据供综合查询模块调用；综合查询模块，读取文档管理模块产生的文档数据以及索引组织表模块、大对象存储模块的测试数据，该模块的技术特征为用户通过型号名称、版本号和关键字检索测试用例及测试结果功能，为用户提供一个基于关系数据、测试数据、文档数据三类数据混合查询的查询平台，查询结果以报表形式输出或以多种数据格式导出；所述分层抽点模块具体实现如下：第一步，从数据接口模块取得仿真数据，对仿真数据进行分层的CUBE计算根据每个实验的采集数据量，自动计算出需要分层的层数以及每层的抽点率，所得分层层数和抽点率供分层模块调用相应的抽点算法进行分层处理；第二步，根据第一步的分层的层数以及每层的抽点率，生成树形的数据层次结构；树的最底层，即叶子节点，存放全部真实仿真数据；其他层依次用树形分层算法以子层抽点的精度的存储子层的近似仿真数据，即一定数量的时间戳相邻的仿真数据，取最大值和最小值存储于父层；实际系统执行时用户查询由树根部向叶子端逐层访问，每次读取的数据量不超过2000个，所得分层结构供平滑处理模块调用；第三步，根据第二步的分层结构，采用OLAP计算方法，对统一规范的数据进行分层的CUBE计算，进行平滑处理，平滑处理算法首先判断该段数据的趋势，即：上升，下降或平缓，根据趋势，调整最大值、最小值的时间戳取值，以得到相对平滑曲线，最终输出平滑的分层抽点数据。