[发明专利]应用于数据库扩容场景的数据处理方法、装置及系统

说明书

本发明公开了一种应用于数据库扩容场景的数据处理方法、装置及系统，其中，该方法包括：接收数据请求信息，数据请求信息中包括：账户信息和操作信息；基于扩容后数据库的分库规则确定账户信息对应数据的所属新数据库信息，以便于根据所属新数据库信息通过调用服务查找数据，其中，调用服务与所属新数据库具有关联关系；响应于未查找到数据，基于旧数据库的分库规则确定账户信息对应数据的所属旧数据库信息，以便于根据所属旧数据库信息查找数据；当查找到数据时，根据数据请求信息中的操作信息对该数据执行相应的操作。通过本发明，可以实现不停机数据库扩容，在数据库扩容时，能够继续处理作业，从而可以较好地提高客户体验感。

技术领域

本发明涉及数据处理领域，具体涉及一种应用于数据库扩容场景的数据处理方法、装置及系统。

背景技术

近年来，随着银行信息化进程的不断推进，单一的集中式系统作为银行核心系统已经不能满足日益增长的业务要求。银行的系统架构逐步转型为能支持交易高并发且能快速扩容的分布式系统架构。

银行系统是数据密集型系统，交易量大，数据量大。为了提高系统处理能力，银行业务处理系统的数据库一般会采用水平分表分库策略，以分散单个数据库的存储和访问压力。

例如，银行账户表有1亿条记录，测算放到64个数据库中比较合适，每个数据库约156万条记录。则，如图1所示，对账户ID(Account ID)取模64进行运算，平均分布到这64个库中。

水平分库后，业务应用程序的处理会变得复杂，访问数据库的时候需要考虑查询哪个数据库。为了简化业务应用程序的开发，通常的解决办法是增加一层数据库中间件，主要做SQL路由、优化、数据聚合等工作，具体流程如图2所示。

水平分库后，未来如果数据量变化较大，可以通过动态扩充数据库来支持性能的扩展。扩充数据库会导致分库规则的变化，就涉及存量数据的迁移。传统的扩充流程可参见图3所示，由于数据库中间件仅可支持一种路由规则，因而，传统扩充流程为：①停机-②数据迁移-③按新的分库路由规则提供服务。

由于上述数据迁移需要停机实施，而且时间较长，因而导致了银行业务无法办理，影响了客户体验。

发明内容

有鉴于此，本发明提供一种应用于数据库扩容场景的数据处理方法、装置及系统，以解决上述提及的至少一个问题。

根据本发明的第一方面，提供一种应用于数据库扩容场景的数据处理方法，所述方法包括：接收数据请求信息，所述数据请求信息中包括：账户信息和操作信息；基于扩容后数据库的分库规则确定所述账户信息对应数据的所属新数据库信息，以便于根据所属新数据库信息通过调用服务查找数据，其中，所述调用服务与所述所属新数据库具有关联关系；响应于未查找到数据，基于旧数据库的分库规则确定所述账户信息对应数据的所属旧数据库信息，以便于根据所属旧数据库信息查找数据；当查找到数据时，根据所述数据请求信息中的操作信息对该数据执行相应的操作。

根据本发明的第二方面，提供一种应用于数据库扩容场景的数据处理装置，所述装置包括：数据接收单元，用于接收数据请求信息，所述数据请求信息中包括：账户信息和操作信息；新库信息确定单元，用于基于扩容后数据库的分库规则确定所述账户信息对应数据的所属新数据库信息，以便于根据所属新数据库信息通过调用服务查找数据，其中，所述调用服务与所述所属新数据库具有关联关系；旧库信息确定单元，用于响应于根据所属新数据库信息未查找到数据，基于旧数据库的分库规则确定所述账户信息对应数据的所属旧数据库信息，以便于根据所属旧数据库信息查找数据；执行单元，用于当查找到数据时，根据所述数据请求信息中的操作信息对该数据执行相应的操作。