[发明专利]一种基于图神经网络的数据库查询优化方法及系统

说明书

本发明公开了一种基于图神经网络的数据库查询优化方法及系统，方法包括：数据采集：根据数据的使用规律来合理的调节采样行为；基数及代价估计：利用树型图神经网络提取查询计划树的结构特征，并使用图卷积网络提取各个数据列的关联关系及连接的拓扑关系，从而建立基数及代价估计网络模型；连接顺序优化：利用图卷积算法提取查询特征和连接顺序特征，并利用强化学习算法感知数据库真实环境，从而不断优化模型，从而提升连接顺序决策的效果；通过对数据分布特征、关联关系和数据库环境特点的学习，建立基数估计模型和连接顺序优化模型，并将算法融合到分布式关系型数据库中。本发明提高在逻辑优化和物理优化阶段的算法效率，提升了查询执行速度。

技术领域

本发明涉及数据库领域，尤其涉及一种基于图神经网络的数据库查询优化方法及系统。

背景技术

随着互联网技术的发展，数据呈现井喷的趋势，大数据成为信息时代的主旋律。对于数据库领域而言，随之面临的难题就是如何有效的组织和管理数据。为了满足存储的需求，不断催生了许多新型架构的数据库，但是对于查询性能的优化还未能取得突破性的发展。如何提升数据库查询执行性能，一直是数据库领域的重要研究方向，传统数据库查询优化方法已经无法胜任当前大规模的数据量以及新型架构的数据库。得益于人工智能技术的成熟发展，利用深度学习强大的学习能力，可以有效的解决诸多难题。人工智能技术和数据库融合也成为当前发展的重要方向之一，有不少研究也取得了不错的进展，但依然还面临巨大的挑战。

TiDB作为一个分布式关系型数据库，本身已经具备了良好的数据组织管理功能和查询优化功能，但是其中查询优化方法还是使用比较传统的方式，如基数估计方式依旧采取利用独立假设条件的概率估计计算方式，缺乏一定的灵活性和准确度；而对于查询影响较大的连接顺序优化，其主要采取基于基数估计的贪婪算法和动态规划算法，错误的基数估计和算法复杂度较高的搜索算法，导致其缺乏一定的搜索效率和查询性能的提升。

发明内容

本发明的目的在于克服现有技术的不足，针对查询优化中未能有效利用数据分布特征及关联关系，有效的利用图神经网络对于图结构数据的特征提取能力，分析查询计划树的结构特征以及数据数据关联特征，提供一种基于图神经网络的数据库查询优化方法及系统。

本发明的目的是通过以下技术方案来实现的：

一种基于图神经网络的数据库查询优化方法，包括以下步骤：

数据采集：根据数据的使用规律来合理的调节采样的行为；

基数及代价估计：利用树型图神经网络提取查询计划树的结构特征，并使用图卷积网络提取各个数据列的关联关系及连接的拓扑关系，从而建立基数及代价估计网络模型；

连接顺序优化：利用图卷积算法提取查询特征和连接顺序特征，并利用强化学习算法感知数据库真实环境，以真实反馈来不断优化模型，从而提升连接顺序决策的效果；

通过对数据分布特征、关联关系、数据库环境特点的学习，建立基数估计模型和连接顺序优化模型，并将算法融合到TiDB分布式关系型数据库中。

进一步的，所述数据采集包括全局性数据的采集、离线数据的采集和在线数据的采集；所述全局性数据的采集触发点为主动式触发，对修改的数据重新采样，替换旧的数据；所述离线数据的采集可以通过维护一个数据池，对相关数据进行大规模采样，也可以依据算法的效果的情况决定是否采样；所述在线数据的采集在算法主动请求数据时，根据请求从数据库环境中加载数据，然后将数据返回给算法，完成一次数据同步过程。

进一步的，所述基数及代价估计网络模型利用Tree-LSTM结构对查询计划数进行特征提取，并用GCN的图神经网络模型对列与列的关系进行特征提取，设计并实现列结合两种图结构的基数预估网络模型。

进一步的，还包括网络远程调用，所述网络远程调用利用gRPC实现，方便接入数据库，包括以下步骤：