[发明专利]一种数据均衡的方法、装置、查询系统及存储介质

权利要求书

1.一种数据均衡的方法，应用于基于实时搜索引擎Elasticsearch的集群，所述集群包括多个节点，设置在所述集群中的索引包括多个分片，所述分片被配置在所述节点中，接入所述索引的数据被存储在对应的分片中，其特征在于，所述集群中的索引按索引类型及时间段命名，不同索引类型表征不同种类的业务场景，所述方法包括：

根据当前创建的新索引的索引名，确定所述新索引的索引类型；其中，一种所述索引类型对应一种类型的业务数据；

在每次为所述新索引的新分片配置节点时，统计属于所述新索引的索引类型的分片在所述集群中各节点的分布数量；

将所述新分片配置在所述分布数量最少的节点中，直至完成所述新索引包括的所有分片的配置。

2.如权利要求1所述的方法，其特征在于，所述新索引为所述索引类型下创建的第一个索引时，所述新索引是实时创建的；

所述新索引为所述索引类型下创建的非所述第一个索引时，所述新索引是在所述新索引的索引类型中的上一个时间段中创建的。

3.如权利要求1所述的方法，其特征在于，统计属于所述新索引的索引类型的分片在所述集群中各节点的分布数量，包括：

从所述集群中获取属于所述新索引的索引类型的索引的集合；

统计所述集合对应的每个节点中属于所述新索引的索引类型的分片总数；

将所述集合对应的各节点中属于所述新索引的索引类型的分片总数，确定为对应节点的所述分布数量；

将所述集群中节点不属于所述集合对应的节点的所述分布数量确定为0。

4.如权利要求3所述的方法，其特征在于，将所述新分片配置在分布数量最少的节点中，包括：

对所述集群中所有节点的所述分布数量进行升序排序；

将新分片配置在升序排序中的首个分布数量对应的节点中。

5.如权利要求3所述的方法，其特征在于，将所述新分片配置在分布数量最少的节点中，包括：

对所述集群中所有节点的所述分布数量进行降序排序；

将新分片配置在降序排序中的最后一个分布数量对应的节点中。

6.如权利要求1-5任一项所述的方法，其特征在于，还包括：

定期检查所述集群中每种索引类型的均衡性；其中，所述均衡性表征所述集群中对应索引类型的分片，在各节点的分布数量是否均衡；

在确定任一种索引类型的分片分布不均衡时，调整所述任一种索引类型的分片分布，直至均衡。

7.如权利要求6所述的方法，其特征在于，定期检查所述集群中每种索引类型的均衡性，包括：

定期统计所述每种索引类型在所述集群中平均每个节点的分片平均数，以及所述每个节点中实际分布的所述每种索引类型的分片总数；

针对所述每种索引类型：计算所述每个节点对应的所述分片总数与所述分片平均数的差值，所有节点中若最大的差值与最小的差值的差大于设定阈值，确定对应索引类型的分片分布不均衡。

8.如权利要求7所述的方法，其特征在于，在确定任一种索引类型的分片分布不均衡时，调整所述任一种索引类型的分片分布，直至均衡，包括：

对于所述分片分布不均衡的所述任一种索引类型，将对应最大的差值对应节点中的一个分片迁移到最小的节点中，并再次判断所述任一种业务类的分片分布是否均衡，不均衡时再次迁移分片，直至确定所述任一种业务类的分片分布均衡。

9.一种查询系统，其特征在于，所述查询系统中的索引的分片是采用如权利要求1-8任一项所述的方法进行数据均衡的，所述查询系统包括：

获取单元，用于获取包含待查询业务类型及时间窗口的查询信息；

查询单元，用于根据所述待查询业务类型确定对应的索引类型，并从所述索引类型对应的索引中筛选出所在时间窗口内的目标索引；

返回单元，用于将所述目标索引作为查询结果返回给所述查询信息对应的用户。