[发明专利]一种面向多模数据库OrientDB的调优系统及其构建方法

说明书

本发明公开了一种面向多模数据库OrientDB的调优系统及其构建方法，系统包括：基础设施层、工作负载生成器、参数调优层和用户接口层，自下而上依次排布；方法包括如下步骤：(1)基础设施虚拟化；(2)实现不同的数据请求分布方式；(3)实现多模数据库OrientDB的读写任务；(4)参数化线程数；(5)实现多模数据库OrientDB的参数调优；(6)实现多模数据库OrientDB的调优界面，并实现与后台的连接，为了使用户可以便捷地进行工作负载的设置以及直观地查看调优结果。本发明实现了工作负载的复杂性以及调优任务的多样性，通过构建GPR模型来学习多模数据库OrientDB的参数和性能之间的关系，并利用改进的遗传算法来寻找最优解。

技术领域

本发明涉及软件性能调优与度量分析技术领域，尤其是一种面向多模数据库OrientDB的调优系统及其构建方法。

背景技术

大数据时代，数据正在以惊人的速度膨胀。互联网用户，尤其是社交媒体用户的数量成倍增长，这导致大量复杂的数据以非常快的速度产生。这对数据库提出了更高的需求：快速，准确。然而，传统关系型数据库已经无法支撑如此庞大的数据量，也无法满足对非结构化数据的管理，这也是近几年NoSQL数据库兴起的原因。同时，在开发一个应用系统时总是会涉及到多种数据模型，比如关系数据、键/值对、文档数据和图数据等。为了解决同时管理结构化和非结构化数据的难题，不少NoSQL逐步向多模数据库转变。

数据库管理系统配置调整是任何数据密集型应用程序工作的一个重要方面。但这在历史上是一项艰巨的任务，因为数据库管理系统有数百个配置“旋钮”，控制系统中的一切，如用于缓存的内存量和数据写入存储的频率。这些旋钮的问题在于它们不是标准化的，不是独立的(即改变一个旋钮会影响其他旋钮)，也不是通用的(即对一个应用程序有效的东西对另一个应用程序可能不是最佳的)。更糟糕的是，关于旋钮效果的信息通常只来自(昂贵的)经验。

然而，调优工作需要训练数据的支持，这些数据是基于工作负载生成器或评测系统获得的。目前，已有许多大数据基准评测平台或工具，如YCSB、YCSB++、BigDataBench。但是，它们都是针对NoSQL数据库或关系型数据库的，例如YCSB只能够测试OrientDB涉及文档数据的性能。

发明内容

本发明所要解决的技术问题在于，提供一种面向多模数据库OrientDB的调优系统及其构建方法，实现了工作负载的复杂性以及调优任务的多样性，通过构建GPR模型来学习多模数据库OrientDB的参数和性能之间的关系，并利用改进的遗传算法来寻找最优解。

为解决上述技术问题，本发明提供一种面向多模数据库OrientDB的调优系统，包括：基础设施层、工作负载生成器、参数调优层和用户接口层，自下而上依次排布。

优选的，基础设施层是一个计算机集群或云计算环境，为多模数据库OrientDB的部署提供硬件基础或虚拟机环境。

优选的，工作负载生成器中添加了不同的数据库操作、数据请求分布方式、线程数和操作数作为参数；对于数据库操作，分别实现了对键/值、文档和图三种数据模型的多模数据库操作，包括增加、查询、删除、更新、聚合和扫描操作；对于数据请求分布方式，负载生成器提供了四种数据请求分布方式供用户选择设定，分别是：Zipfian、Uniform、Normal和Latest，Zipfian分布是指根据Zipfian定律来选择数据，假设数据按照受欢迎程度排序，使得越靠前的数据被访问的几率越高，Uniform分布即随机分布，所有数据被访问的概率相同，Latest分布表示最新插入的数据具有最高的优先级，被访问到的几率更高，Normal分布即根据正态分布，将请求的数据位置集中在数据集的中间位置；工作负载生成器用来生成和执行用户指定的工作负载。