[发明专利]一种数据优化的方法及装置

说明书

本申请实施例公开了一种数据优化的方法，采用插入合并与负载均衡的算法，对达到阈值的子节点进行合并或负载均衡，当树的深度较大时，可以明显减少树的深度和子节点的数量，节省存储资源开支，提高存储效率。本申请实施例方法包括：计算第一节点的空置率以及第二节点的空置率，该第一节点与该第二节点相邻，该空置率为各节点中空白因子数量占总节点因子数量的比例；若该第一节点和该第二节点中至少一个节点的空置率达到第一阈值，则生成第三节点，该第三节点包含该第一节点与该第二节点的所有非空白因子。

技术领域

本申请涉及计算机领域，具体涉及一种数据优化的方法及装置。

背景技术

在存储领域，海量数据查询和存储需要占用超大的资源，严重影响了数据存储的性能。为了降低存储数据占用的资源，提高数据存储性能，目前已经产生了各种成熟并且效果非常好的查询算法。

其中，最经典的属于B+Tree算法。现有的研究机构主要致力于研究如何采用提高硬件性能和优化算法两方面进行性能提升，单纯提高硬件性能并不能发挥最大效益，需结合恰当的优化算法实现性能提升。当做数据插入时，B+Tree会优先拆分叶子节点(LeafPage)，随着数据的增加，还会通过增加Tree的深度来扩大存储。

在数据量比较小的时候B+Tree算法还能满足性能要求。但是当应用于海量存储时，过多的Leaf Page和过深的Tree深度，会影响数据查询的效率，且需要占用过多的资源，影响数据存储的性能。

发明内容

本申请实施例提供了一种数据优化的方法，通过采用插入合并的算法，对空置率达到阈值的Leaf Page进行合并，当树的深度较大时，可以明显减少树的深度和Leaf Page的数量，节省存储资源开支，提高存储效率。进一步的对相邻Leaf Page负载均衡可以平衡各Leaf Page内的节点，平均空置率，在后续因子添加时，减少拆分页操作，进一步提高了存储的性能。

为达到上述目的，本申请实施例提供如下技术方案：

本申请第一方面提供一种数据优化的方法，该方法可采用C语言算法描述，然后通过Java的C调用方法嵌入存储系统，该数据优化的方法在执行过程中涉及到的数据优化装置在智能终端中对应相应的功能实体。该方法可以包括：计算第一节点的空置率以及第二节点的空置率，该第一节点与该第二节点相邻，该空置率为各节点中空白因子数量占总节点因子数量的比例；

若该第一节点和该第二节点中至少一个节点的空置率达到第一阈值，则生成第三节点，该第三节点包含该第一节点与该第二节点的所有非空白因子。

可选的，在本申请的一些实施例中，若该第一节点或该第二节点中至少一个节点的空置率达到第一阈值，则生成第三节点之后，该方法还包括：第一根节点因子更新为第二根节点因子，该第二根节点因子为该第三节点的最后一个非空白因子，该第一根节点因子为该第一节点和该第二节点的索引因子。

可选的，在本申请的一些实施例中，该第一根节点因子更新为第二根节点因子，包括：删除该第一根节点因子；添加该第三节点的最后一个非空白因子为该第二根节点因子。

可选的，在本申请的一些实施例中，若该第一节点和该第二节点中至少一个节点的空置率达到第一阈值，则生成第三节点之后，该方法还包括：计算该第三节点的不平衡率，该第三节点的不平衡率为该第三节点的空置率占该第三节点的空置率与第四节点的空置率之和的比率，该第三节点与该第四节点相邻，该第四节点的不平衡率未达到第二阈值；若该第三节点的不平衡率达到该第二阈值，则对该第三节点进行负载均衡。

可选的，在本申请的一些实施例中，若该第三节点的不平衡率达到该第二阈值，则对该第三节点进行负载均衡之后，该方法还包括：第三根节点因子更新为第四根节点因子，该第四根节点因子为该第三节点的最后一个非空白因子，该第三根节点因子为该第一节点和该第二节点的索引因子。