[发明专利]一种基于强化学习的数据库索引生成方法

说明书

本发明公开了一种基于强化学习的数据库索引生成方法。建立树型结构的通用索引架构，节点的抽象索引块分为有序索引块和无序索引块，含有由循环神经网络进行调优的参数，相邻抽象索引块组成索引块组；最底层抽象索引块链接到数据集；对数据集和工作负载，控制器模型自顶向下逐层构建索引架构的参数序列，每一层包含多个索引块组参数，生成参数形成参数序列；索引构建器加载索引架构的参数序列建立逻辑索引；将数据集逐条扫描加载到逻辑索引架构中，并经过实体化过程形成物理索引；使用物理索引执行给定工作负载，得到执行时延以及空间利用率并反馈更新；重复步骤循环迭代。本发明所生成的混合索引架构可支持各种复杂应用场景，并实现更好的性能。

技术领域

本发明涉及数据库索引技术领域的一种数据库索引处理方法，尤其涉及一种基于强化学习的自动索引架构生成方法。

背景技术

随着云计算商业模式越来越趋于成熟，数百万的用户在云服务器上部署了各种应用程序，并将云数据库用作其数据管理系统，云计算产品服务也越来越受到性能和效率的压力。云服务提供商的关键任务之一是利用有限的云资源来优化用户的数据访问，提升程序的响应能力，为用户带来更好的使用体验，其中索引起着至关重要的作用。然而，对索引架构进行性能优化非常具有挑战性，传统的调优技术将需要一个经验丰富的数据库管理员(Database Administrator，简称DBA)针对特定数据集与工作负载花费数周的努力进行大量的手动调优。由于不同应用程序的数据多样性以及用户访问模式的差异，例如，一个在线购物平台与一个智能移动办公应用软件在数据分布和访问模式上必然大相径庭，若在后者的应用场景下直接重复采用与前者相同的索引配置，往往难以提供令人满意的性能。在理想情况下，DBA应该为每一个应用程序提供定制化的索引配置，然而这对于云服务提供商而言是不可能实现的。

经观察，通常情况下，一个应用程序具有固定的访问模式(即大多数查询遵循一些预定义的模板，只有少数特殊查询不遵循)，并且其数据也显示出相对稳定的分布。实际上，DBA在进行索引配置调优时，首先会根据他们的经验选择一种索引架构，其次再根据访问模式和数据分布逐渐对索引参数进行改进。然而，DBA将仍然面临两个挑战。

第一，鉴于现有索引架构种类繁多，目前尚不存在一种索引架构可在任意场景下保持最佳性能。一个保守的做法是，对于需要频繁范围查找的列采用B+ 树索引(B+Tree)，对于需要快速查找的列采用哈希索引(Hash)。但是在大多数情况下，它们均不是最佳的设计方案，甚至可以说现有的任何一种索引架构都无法针对特定应用程序有效地适应其访问模式，此时可能需要设计一种新的索引架构。实际上，“新”索引的架构并不一定是全新的。目前大多数提出的索引架构之间存在着相似的通用基本构件(例如，基于哈希的分区，基于搜索键的分区等)，并且经过多年的研究分析，我们已熟知这些基本构件的优缺点，现有的大多数索引架构均可被视为是这些基本构件的一种新颖组合。

第二，即使将索引选择空间限制为一些常用索引，例如B+树、跳表(SkipList)、哈希索引，但它们依然存在许多可调参数，例如B+树的节点大小和扇出，SkipList 的增长概率以及哈希索引的存储桶数等。为了找到最适合给定应用场景的参数配置，需要运行一系列的A/B测试，历时多天。此外，当应用程序的访问模式发生变化后，还需相应地调整参数值甚至修改索引架构。

针对上述问题，本文提出了一种基于强化学习的索引架构搜索方法NIS，该方法可以自动为给定的数据集和查询工作负载设计索引架构，从而使得DBA摆脱繁重的索引构建和调整工作。

发明内容

本发明的目的在于针对现有技术的不足，提供一种基于强化学习的数据库索引生成方法。

本发明运用强化学习对工作负载的感知记忆能力和学习探索能力，针对不同的数据集与工作负载学习出相应最合适的索引架构以及参数，以达到最优的服务性能和最少的资源占用。

本发明解决其技术问题采用的技术方案如下：