[发明专利]基于机器学习的数据索引优化方法

摘要

本发明提供了一种基于机器学习的数据索引优化方法，包括对主键索引进行优化以及对二级索引进行优化。前者在模型分层结构的设计下，通过自顶向下拟合预测残差来充分利用非叶子模型的拟合效果、权重更新来提高对离群数据的关注度和预设阈值进行数据剪枝这三个方面提高多维主键数据的预测准确度。后者在第一阶段使用二分类模型和Bloom Filter进行两步筛选，将数据集划分成唯一键值和非唯一键值，并保有一定的误判率。在第二阶段根据两类数据的特点，分别构建索引模型进行处理，从而满足二级索引的查询要求。本发明能够适应多种索引类型，提升索引的查询效率，降低索引的空间开销。