[发明专利]基于机器学习的数据索引优化方法

说明书

本发明提供了一种基于机器学习的数据索引优化方法，包括对主键索引进行优化以及对二级索引进行优化。前者在模型分层结构的设计下，通过自顶向下拟合预测残差来充分利用非叶子模型的拟合效果、权重更新来提高对离群数据的关注度和预设阈值进行数据剪枝这三个方面提高多维主键数据的预测准确度。后者在第一阶段使用二分类模型和Bloom Filter进行两步筛选，将数据集划分成唯一键值和非唯一键值，并保有一定的误判率。在第二阶段根据两类数据的特点，分别构建索引模型进行处理，从而满足二级索引的查询要求。本发明能够适应多种索引类型，提升索引的查询效率，降低索引的空间开销。

技术领域

本发明属于数据库索引领域，涉及使用机器学习优化数据索引技术，具体涉及一种基于机器学习的数据索引优化方法

背景技术

随着大数据时代的到来，索引是从海量数据中快速获得检索结果的关键一环。在当今网络社会，大规模数据在各种联系作用中产生，往往存在着隐藏的模式和分布规律，而了解数据的分布特点可以很大程度地对索引做出优化。传统数据索引存在一个显著的特点：它们使用通用的数据结构，不能充分利用现实世界数据中的模式和分布规律。机器学习的本质是从数据中发掘隐藏的模式，这些从数据中发掘的模式反映了数据的内在联系和分布规律，利用机器学习得到数据分布规律并建立索引的过程称为“基于机器学习的数据索引(简称学习索引)”。

在对学习索引的现有研究中，常使用递归模型索引结构(RMI结构)来提高在单个数据的预测准确度，从而降低对整体数据集的误差范围。然而随着维度升高，数据分布的复杂性急剧增长，使用RMI结构得到的误差范围呈现近似指数倍增长。由于最终需要在误差范围内进行搜索以找到查询键值，误差范围的大小决定了搜索开销的高低。因此，面对多维复杂的数据分布，RMI结构存在预测准确度过低的问题。其次，由于二级索引常是非唯一索引，导致模型训练数据的标签不唯一性，因此RMI结构存在无法应用于二级索引的场景的问题。

发明内容

为解决上述问题，本发明针对现有学习索引结构的不足和缺陷，提出了一种基于机器学习的数据索引优化方法，解决了现有学习索引在面对多维数据下误差范围急剧增长的问题和无法应用于二级索引场景的问题，能够有效提高整索引的查询效率，并且降低索引的占用空间。

为了达到上述目的，本发明提供如下技术方案：

基于机器学习的数据索引优化方法，包括对主键索引进行优化以及对二级索引进行优化；

所述对主键索引进行优化包括以下步骤：

步骤一，构建混合模型层次结构，分为顶部模型、分支模型和叶子模型；顶部模型的输入数据大小逐步缩减，拟合数据内在分布以预测键值Key所在的记录行位置；自顶向下通过模型对Key的预测结果选择该Key使用的下一层模型编号，并把上层模型预测结果传递给下层选择的模型；

步骤二：对于分支模型的输入数据集，使用权重更新策略，根据上层预测结果来赋予数据不同的权重，其中上层拟合效果越差的数据权重相对升高，并使用加权损失函数进行训练；

步骤三：对于经过某一层分支模型的数据，通过阈值来判断是否继续传递到下一层模型，进行及时的剪枝操作，最终构建递归提升模型索引B-RMI结构；

所述对二级索引的优化包括以下步骤：

步骤一：通过第一阶段二分类模型和Bloom Filter过滤器对唯一键值和非唯一键值进行分类，并保证对唯一键值的分类不存在误判；

步骤二：对于唯一键值数据，通过层次划分方法进行预处理分段后，在每个分段中构建B-RMI结构对原始表进行位置预测，最终构建唯一键值模型；

步骤三：对于非唯一键值数据，通过构建临时表整合非唯一键值的位置列表，再构建B-RMI结构对临时表进行位置预测，最终构建非唯一键值模型。