[发明专利]比较数据表的数据的方法和系统

说明书

本申请提供了一种比较数据表的数据的方法和系统，系统包括客户端和多个服务端第一数据库对应至少一个第一服务端，第二数据库对应至少一个第二服务端，客户端获取目标数据表在两个数据库的第一元数据和第二元数据，第一元数据中包括目标数据表的数据对应的第一范围，第二元数据中包括目标数据表的数据对应的第二范围；客户端根据第一范围和第二范围中的至少一个，确定目标范围；第一服务端根据目标范围，对第一数据库中目标数据表的数据进行签名得到第一签名；类似地第二服务端得到第二签名；客户端根据第一签名和第二签名，确定两个数据库中目标数据表的数据是否相同，避免大量的数据传输和比较，运行速度快成本低，网络资源占用量小。

技术领域

本申请涉及数据库领域，并且更具体地，涉及一种比较数据表的数据的方法和系统。

背景技术

对于大数据领域，键值(key-value)数据库是应对大量随机写、随机读场景的一种最佳选择。key-value数据库中的所有数据，均以key-value形式存在。key-value形式具有严格定义的结构，数据库中的所有数据，都以不可改写的文件存在于底层文件系统中。新数据的写入，会生成新的key-value；旧数据的改写或者删除，也会生成新的key-value来标记该改写或者删除。

另外，大数据领域为了追求数据更高的可用性和更好的容灾性，通常在多数据中心方案中采取异地备份数据的功能。因此，备份数据前、中、后校验数据的一致性，成为现在大数据存储领域一项重要的功能特性。

现有的比较工具是基于数据的比较工具。当使用该比较工具对两个数据库(工作数据库和备份数据库)的数据表(两个数据库中数据表的结构应是相同的)进行内容比较时，该比较工具会将校验任务进行并行化处理，例如，提交成映射归约(MapReduce，MR)作业分配到很多节点上并行执行。该比较工具分别从两个数据库的数据表中读取数据，进行比较，得到不一致的数据。

现有的比较工具对数据表中的数据进行逐行比较，比较效率低下，比较工具运行速度慢。另外，现有的比较技术，需要映射框架在本地跟本地数据库的集群的多个服务器进行通信，还可能需要跟远端数据库的集群的服务器进行通信，这会占用大量的网络资源。

发明内容

本申请提供一种比较数据表的数据的方法和系统，能够避免大量的数据传输和比较，运行速度快成本低，网络资源占用量小。

本申请第一方面提供了一种比较数据表的数据的方法，其特征在于，所述方法应用于比较第一数据库和第二数据库的目标数据表的数据的系统，所述系统包括客户端和多个服务端，其中，所述第一数据库对应至少一个第一服务端，所述第二数据库对应至少一个第二服务端，所述方法包括：所述客户端获取所述第一数据库中所述目标数据表的第一元数据和所述第二数据库中所述目标数据表的第二元数据，所述第一元数据中包括所述目标数据表的数据在所述第一数据库的服务器中所对应的第一范围，所述第二元数据中包括所述目标数据表的数据在所述第二数据库的服务器中所对应的第二范围；所述客户端根据所述第一范围和所述第二范围中的至少一个，确定目标范围；所述至少一个第一服务端根据所述目标范围，对所述第一数据库中目标数据表的数据进行签名得到第一签名；所述至少一个第二服务端根据所述目标范围，对所述第二数据库中目标数据表的数据进行签名得到第二签名；所述客户端根据所述第一签名和所述第二签名，确定所述第一数据库中目标数据表的数据与所述第二数据库中目标数据表的数据是否相同。

第一方面的比较数据表的数据的方法，客户端根据数据表的数据的分布确定目标范围，服务端根据目标范围对数据进行签名，客户端比较两个数据库中数据表的数据对应的签名是否一致即可判断出这两个数据表的数据是否一致，避免了大量的数据传输和比较，运行速度快成本低，网络资源占用量小。