[发明专利]数据同步方法及装置、数据查询方法及装置

说明书

本公开提供了数据同步方法、数据同步装置、数据查询方法、数据查询装置、电子设备以及计算机可读存储介质，其中数据同步方法包括：获取待同步数据，所述待同步数据包括一个或多个第一数据库的数据库表中的数据；在目标数据库中建立第一索引，将待同步数据对应的全部所述第一数据库的数据库表的数据依次同步至所述第一索引；若当前的第一索引满足索引滚动策略，则建立新的第一索引，将尚未同步的数据继续同步至所述新的第一索引。通过对将多个数据库的数据库表中的数据依次滚动的写入一个或多个索引中，从而节省了占用的分片资源。

技术领域

本公开一般地涉及数据库存储领域，具体涉及一种数据同步方法、数据同步装置、数据查询方法、数据查询装置、电子设备以及计算机可读存储介质。

背景技术

在数据存储和检索过程中，尤其在分布式存储的数据中，需要将底库数据同步到检索引擎才能进行属性检索，为了提高检索效率，需要对检索引擎中存储的数据建立索引。在一些分布式存储和分布式检索的相关技术中，检索引擎会设置有一定数量的分片(shards)，每个分片对应一个索引，一个索引对应写入一个数据库的数据库表，也即对每个数据库的数据库表建立独立的索引，在这种情况下，如果待同步中包含的数据库的数量较多时，则会需要大量的分片资源，如果分片数量不够，则会导致不能够建立新的索引，造成部分数据库的数据无法同步、无法检索。

发明内容

为了解决现有技术中存在的上述问题，本公开的第一方面提供一种数据同步方法，其中，方法包括：获取待同步数据，待同步数据包括一个或多个第一数据库的数据库表中的数据；在目标数据库中建立第一索引，将待同步数据对应的全部第一数据库的数据库表的数据依次同步至第一索引；若当前的第一索引满足索引滚动策略，则建立新的第一索引，将尚未同步的数据继续同步至新的第一索引。

在一例中，当前的第一索引满足索引滚动策略，包括以下至少一项：当前的第一索引占用的存储空间达到存储阈值；同步至当前的第一索引的数据量达到容量阈值。

在一例中，当前的第一索引满足索引滚动策略，还包括：对当前的第一索引进行数据同步的时间达到时间阈值。

在一例中，待同步数据还包括一个或多个第二数据库的数据库表中的数据，其中，第二数据库的数据量大于第一数据库的数据量；方法还包括：在目标数据库中建立与每个第二数据库的数据库表一一对应的一个或多个第二索引；将每个第二数据库的数据库表的内容分别同步至其对应的第二索引。

在一例中，方法还包括：基于数据库表的表名确定建立索引的类型，其中，第一数据库的数据库表的表名包含第一标识，第二数据库的数据库表包含第二标识；若数据库表的表名包含第一标识，则执行建立第一索引，将待同步数据对应的全部第一数据库的数据库表的数据依次同步至第一索引的步骤；若数据库表的表名包含第二标识，则执行建立与每个第二数据库的数据库表一一对应的一个或多个第二索引的步骤。

在一例中，方法还包括：响应于删除任一第一数据库的数据删除请求，确定与待删除的第一数据库对应的一个或多个第一索引；删除一个或多个第一索引中与删除的第一数据库对应的数据。

在一例中，方法还包括：响应于删除任一第二数据库的数据删除请求，删除待删除的第二数据库对应的第二索引。

在一例中，方法还包括：当检测到对任一第一数据库的数据库表中第一数据的操作时，基于第一数据，在全部第一索引中确定第一数据对应的第一索引中数据的位置；并根据操作，同步修正第一数据对应的第一索引中的数据；其中，操作包括增加数据、修改数据或删除数据。

在一例中，方法还包括：当检测到对任一第二数据库的数据库表中第二数据的操作时，在第二数据库的数据库表对应的第二索引中，根据操作，同步修正第二数据对应的第二索引中的数据；其中，操作包括增加数据、修改数据或删除数据。