[发明专利]一种数据库管理方法及装置

说明书

技术领域

本发明实施例涉及数据处理技术领域，尤其涉及一种数据库管理方法及装置。

背景技术

随着大数据技术逐步应用于各行业，海量数据面临的查询和存储问题得到了逐步的解决。但是在实时数据预处理环节仍面临众多挑战，除数据量巨大外，还需要考虑实时处理效率。所面临的任务场景之一便是对流经预处理的数据进行各种查询操作，用于去重，关联等后续流程。

可以考虑的实施方式之一是在数据进入数据库后，使用MR(MapReduce，映射规约)任务，面向整个数据库，查询需要的结果。其优点在于逻辑框架清晰，数据库容量不受限制；缺点在于效率有待提高，不适合实时处理，如果有后续环节依赖于查询结果，则会影响整个ETL(Extract-Transform-Load，萃取-转置-加载)过程。

如果在实时预处理环节实施，面临的问题更为复杂，考虑有多个节点的预处理集群的情况：流经预处理的数据分为两类，用于构建数据库的数据(统称为建库数据)和查询数据库的数据(统称为查询数据)，他们从不同的预处理节点通过，即从某个节点流经的查询数据所需要的建库数据可能是从其他节点通过。

在建库数据规模较小情况下，可以采用在每个节点建立全量数据库的方案，即将流经某个节点的建库数据也复制定向到其他节点，这样的效果是每个节点都能看到全部的建库数据；在节点内部就能完成查询数据对数据库的查询操作。

通常，数据库的容量和查询性能是成反向关系的，随着数据库容量的增加，查询性能会逐渐下降。当建库数据规模较大时，不能够很好的解决任意容量数据库的数据更新和实时查询问题。

发明内容

本发明实施例提供一种数据库管理方法及装置，以一致的开发接口，解决任意容量数据库的更新和实时查询问题。

第一方面，本发明实施例提供了一种数据库管理方法，该方法包括：

获取包含有数据项和数据项操作信息的输入数据；

根据预设的子库划分规则，确定所述输入数据分别在预先创建的各组数据库中所导向的至少两个目标子库以及管理所述各个目标子库的各个目标节点，其中，在预先创建的各组数据库中，每组数据库由多个子库组成，同一组数据库内的不同子库被不同节点所管理；

如果所述数据项操作信息为插入操作信息、删除操作信息或修改操作信息，则根据所述输入数据相应更新所述各个目标节点所管理的目标子库；

如果所述数据项操作信息为查询操作信息，则从所述各个目标节点中选取一个目标节点作为查询节点，根据所述输入数据在所述查询节点所管理的目标子库中进行查询。

第二方面，本发明实施例还提供了一种数据库管理装置，该装置包括：

输入数据获取单元，用于获取包含有数据项和数据项操作信息的输入数据；

目标子库和目标节点确定单元，用于根据预设的子库划分规则，确定所述输入数据分别在预先创建的各组数据库中所导向的至少两个目标子库以及管理所述各个目标子库的各个目标节点，其中，在预先创建的各组数据库中，每组数据库由多个子库组成，同一组数据库内的不同子库被不同节点所管理；

目标子库更新单元，用于如果所述数据项操作信息为插入操作信息、删除操作信息或修改操作信息，则根据所述输入数据相应更新所述各个目标节点所管理的目标子库；

目标子库查询单元，用于如果所述数据项操作信息为查询操作信息，则从所述各个目标节点中选取一个目标节点作为查询节点，根据所述输入数据在所述查询节点所管理的目标子库中进行查询。

在本发明实施例提供的技术方案中，通过如下数据库管理方式来管理数据：预先创建多组数据库，并根据子库划分规则将每组数据库进一步划分为多个子库，并且同一组数据库内的不同子库被不同节点所管理。在获取到输入数据后，先根据子库划分规则确定该输入数据分别在各组数据库中所导向的至少两个目标子库以及管理各个目标子库的各个目标节点，进而：在输入数据是建库数据的情况下，根据该输入数据相应更新各个目标节点所管理的目标子库；在输入数据是查询数据的情况下，先从各个目标节点中选取一个目标节点作为查询节点，然后根据输入数据在查询节点所管理的目标子库中进行查询。因此，本发明实施例能够以一致的开发接口，解决任意容量数据库的更新和实时查询问题。

附图说明

图1A是本发明实施例一提供的一种数据库管理方法的流程示意图；

图1B是本实施例一提供的一种对组内子库划分示意图；

图1C是本发明实施例一提供的一种数据库管理方法的应用场景示意图；