[发明专利]用于多个系统的数据处理方法、装置、计算机系统、介质

说明书

本公开提供一种用于多个系统的数据处理方法，每个所述系统对应的数据是分库分表存储的，所述方法包括：监听所述多个系统中的至少一个系统是否发生数据操作，所述数据操作包括变更所述至少一个系统对应的数据；在所述至少一个系统发生数据操作的情况下，获取所述数据操作针对的数据所属系统的系统标识、所属数据库的库标识、所属数据表的表标识以及所属主键的主键标识；基于所述系统标识、库标识、表标识和主键标识获取相应变更数据；基于所述系统标识确定与所述系统标识对应的搜索引擎，并将所述变更数据同步到所述搜索引擎中。

技术领域

本公开涉及计算机技术领域，更具体地，涉及一种用于多个系统的数据处理方法、一种用于多个系统的数据处理装置、一种计算机系统、以及一种计算机可读存储介质。

背景技术

在互联网应用中，为了应对高访问量、高并发的数据访问场景，通常通过系统拆分、数据库拆分、业务数据表拆分等手段将数据进行分表分库存储。在数据拆分之后，为了实现多数据源(即分表分库存储)的检索，通常需要将系统对应的数据存储在搜索引擎中。在分表中的数据变更时，需要将变更数据同步到搜索引擎中。但是每个系统各自开发相应的同步程序，使得同步程序的通用性差，复用度低。因此，如何提高不同系统中数据同步的便捷性，以及降低系统的数据同步的开发成本成为目前亟需解决的问题。

在实现本公开构思的过程中，发明人发现现有技术中至少存在如下问题，现有技术中在将不同系统中的变更数据同步到搜索引擎中时，每个系统各自开发相应的同步程序，使得同步程序的通用性差，复用度低。

发明内容

有鉴于此，本公开提供了一种优化的用于多个系统的数据处理方法和用于多个系统的数据处理装置。

本公开的一个方面提供了一种用于多个系统的数据处理方法，每个所述系统对应的数据是分库分表存储的，所述方法包括：监听所述多个系统中的至少一个系统是否发生数据操作，所述数据操作包括变更所述至少一个系统对应的数据，在所述至少一个系统发生数据操作的情况下，获取所述数据操作针对的数据所属系统的系统标识、所属数据库的库标识、所属数据表的表标识以及所属主键的主键标识，基于所述系统标识、库标识、表标识和主键标识获取相应变更数据，基于所述系统标识确定与所述系统标识对应的搜索引擎，并将所述变更数据同步到所述搜索引擎中。

根据本公开的实施例，上述监听所述多个系统中的至少一个系统是否发生数据操作，包括：监听所述多个系统中的至少一个系统的多个数据库的数据库日志是否更新。

根据本公开的实施例，上述基于所述系统标识、库标识、表标识和主键标识获取相应变更数据，包括：根据第一配置表，确定与所述系统标识和所述库标识对应的链接信息，基于所述链接信息与相应数据库建立连接，基于所述表标识和主键标识从建立连接的数据库中获取相应变更数据。

根据本公开的实施例，上述基于所述系统标识确定与所述系统标识对应的搜索引擎，并将所述变更数据同步到所述搜索引擎中，包括：根据第二配置表，确定与所述系统标识对应的搜索引擎的配置信息，基于所述配置信息与相应搜索引擎建立连接，将所述变更数据同步到建立连接的搜索引擎中。

根据本公开的实施例，上述方法还包括：以队列格式依次存储每次数据操作对应的系统标识、库标识、表标识和主键标识。所述基于所述系统标识、库标识、表标识和主键标识获取相应变更数据，包括：从所述队列提取一组系统标识、库标识、表标识和主键标识，基于所述系统标识、库标识、表标识和主键标识获取相应变更数据。