[发明专利]一种比较海量数据的方法及装置

说明书

技术领域

本发明涉及计算机及通信领域，特别涉及一种比较海量数据的方法及装置。

背景技术

目前，在电信的下一代网络(Next Generation Network，NGN)中，为了保证控制层数据的高度可靠性，需要使用双归属组网模式。所谓双归属组网模式即是将需要保存的数据同时保存在两台设备上，使其具有双归属特性；两台设备分别称为主用设备和备用设备；保存在主用设备上的数据称为主用数据或主用记录，而保存在备用设备上的数据称为备用数据或备用记录。使用双归属组网模式可以通过冗余备份的方式提高软交换设备的容灾能力。

在双归属组网模式下，两台软交换设备的数据配置绝大部分应该是一致的，但是，在电信运营商进行网络运行维护的过程中，由于存在人工操作，很难保证两台软交换设备上的业务数据完全一致，因此就需要对两台软件交换设备上存储的大规模业务数据进行比较，以便能够快捷准确的查找出不一致的业务数据，并且对该业务数据进行校验。

针对上述问题，现有技术中提出了两种解决方案。

第一种方案为：根据需要比较的业务数据，以结构化查询语句(StructuredQuery Language，SQL)描述其所有字段属性，并对每一字段属性进行比较。

采用第一种方案的缺点为：

1、若需要比较的业务数据达到十万级或百万级，则比较流程所需要的时间长达十几个小时，这大大降低了业务数据比较工作的工作效率。

2、由于会对业务数据的每一字段属性逐个进行比较，因此，比较流程的时间复杂度O(m*n)会随业务数据的增加而增加，其中，O为时间常数，m为记录条数，n为属性个数。

3、当业务数据发生变化时，需要对相应的SQL语句进行调整，由于无法屏蔽各类业务数据的个性特点，便需要对不同的业务数据采取不同的处理方式，这大大增加了后期维护工作的复杂度。

第二种方案为：将需要进行比较的主用记录和备用记录读取到内存中，再使用内置的数据类型的比较操作符对业务数据的各字段属性逐个进行比较。

采用第二种方案有缺点为：

1、将所有主用数据和备用数据完整地读入内存会大大增加系统的I/O操作，从而增加了系统开销，造成系统性能损失。

2、将所有主用数据和备用数据完整地读入内存需要大量的内存开销，这样系统的反应速度便会非常慢，从而大大降低了业务数据比较工作的工作效率。

3、比较流程的时间复杂度O(m*n)会随业务数据的增加而增加，其中，O为时间常数，m为记录条数，n为属性个数。

4、当业务数据发生变化时，需要修改内存中存放的业务数据的数据结构，由于无法屏蔽各类业务数据的个性特点，因此需要对不同的业务数据执行不同的处理方式，这大大增加了后期维护工作的复杂度。

发明内容

本发明实施例提供一种比较海量数据的方法及装置，用以在双归属组网模式的主用设备和备用设备之间进行海量数据比较时，提高工作效率，降低工作复杂度。

本发明实施例提供的具体技术方案如下：

一种比较海量数据的方法，包括：

获取具有相同业务记录标识的第一摘要标识和第二摘要标识，所述第一摘要标识和第二摘要标识分别归属于双归属组网模式下的主用设备和备用设备；

当所述第一摘要标识与所述第二摘要标识相同时，确定所述业务记录标识在所述主用设备和备用设备上分别对应的业务记录包含相同的业务字段；

其中，在获取具有相同业务记录标识的第一摘要标识和第二摘要标识之前，从所述主用设备和备用设备中分别以业务记录形式提取需要进行比较的业务数据，以及生成各业务记录的摘要标识。

一种用于比较海量数据的设备，包括：

通信单元，用于与双归属组网模式下的主用设备和备用设备进行信息交互；

获取单元，用于从所述主用设备和备用设备获取需要进行比较的业务数据；

存储单元，用于以业务记录的形式保存所述业务数据，其中，每条业务记录包含用于在一个设备中唯一标识该业务记录的业务记录标识，以及用于代表该业务记录包含的各业务字段的类型和字段值的摘要信息；

比较单元，用于从所述存储单元中获取具有相同业务记录标识的第一摘要标识和第二摘要标识，所述第一摘要标识和第二摘要标识分别归属于所述主用设备和备用设备，当所述第一摘要标识与所述第二摘要标识相同时，确定所述业务记录标识在所述主用设备和备用设备上分别对应的业务记录包含相同的业务字段。

一种通信系统，包括双归属组网模式下的主用设备和备用设备，以及网管设备，其中：