[发明专利]一种数据管理的方法和装置

说明书

本发明公开了一种数据管理的方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：获取针对元数据表的查询请求，所述查询请求包括查询入参；根据所述查询入参和已构建的二级索引模型，确定与所述查询入参对应的目标数据的分组标识和分片标识；根据所述分组标识和分片标识确定所述目标数据的数据存储范围。该实施方式通过元数据表构建二级索引模型进行检索，提高了数据检索的效率，提升了用户体验。

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据管理的方法和装置。

背景技术

ES(ElasticSearch，一种分布式、全文搜索引擎)支持分布式、使用倒序索引，且提供了丰富的搜索API，可作为海量数据的存储工具，广泛用于互联网领域的海量数据检索、聚合、日志分析等业务中。

现有技术中一般采用ES做存储引擎是基于数据库做的数据同步，以解决数据库分库分表带来的列表搜索的问题。但是当数据量基数较大，业务检索范围较宽，且查询场景较复杂的时候，ES的检索效率较低，无法高效支持和适应业务需求。

发明内容

有鉴于此，本发明实施例提供一种数据管理的方法和装置，能够实现数据的快速检索，提高检索效率，提升用户体验。

为实现上述目的，根据本发明实施例的一个方面，提供了一种数据管理的方法，包括：

获取针对元数据表的查询请求，所述查询请求包括查询入参；

根据所述查询入参和已构建的二级索引模型，确定与所述查询入参对应的目标数据的分组标识和分片标识；

根据所述分组标识和分片标识确定所述目标数据的数据存储范围。

可选地，根据所述查询入参和已构建的二级索引模型，确定与所述查询入参对应的目标数据的分组标识和分片标识之前，还包括：

从所述元数据表的各个字段中筛选出索引字段，根据所述索引字段构建二级索引表；

根据所述二级索引表中的索引字段对所述元数据表中的元数据进行分组，并对每个分组内的元数据进行分片，以构建所述二级索引模型。

可选地，根据所述二级索引表中的索引字段对所述元数据表中的元数据进行分组，并对每个分组内的元数据进行分片，包括：

从所述二级索引表的索引字段中筛选出一个索引字段作为分组字段，从所述索引字段中筛选出一个字段作为分片键值；

根据所述分组字段对所述元数据进行分组，获得一个或多个分组；

根据所述分片键值对每个分组内的元数据进行分片，获得一个或多个分片；

存储每条元数据对应的所述分组的分组标识和所述分片的分片标识。

可选地，在存储每条元数据对应的所述分组的分组标识和所述分片的分片标识之后，还包括：

存储每条元数据的存储路径信息。

可选地，在存储每条元数据的存储路径信息之前，针对包含多个分片的任一分组，执行：

确定所述分组的任意两个分片中的元数据的数据量的差值或比值不超过预设阈值，

当超过所述预设阈值时，则将所述分组内的所有元数据散列后重新分片，并存储所述分组中的所有元数据的在重新分片后的存储路径信息。

可选地，将所述分组中的所有元数据散列后重新分片，包括：

根据所述元数据在重新分片前的分片标识，对所述元数据进行二次哈希，确定所述元数据在重新分片后的分片标识，根据二次哈希的结果对所述分组中的所有元数据重新分片。

可选地，确定与所述查询入参对应的目标数据的分组标识和分片标识，包括：