[发明专利]一种数据比对的方法及装置

说明书

技术领域

本发明涉及电信技术领域，特别涉及一种数据的比对方法及装置。

背景技术

当前，随着通讯业的不断发展，相关软件系统也越来越复杂。软件系统一般都包含许多的子系统和外围系统，为了保证这些系统数据的一致性，我们经常需要比较各系统间的同类数据，做相应的处理，使其保持一致，以保证整个系统的正常运行。

在通讯行业内，需要比较的这类数据量通常十分庞大，采用一般的文本比较工具来比对很容易出错，目前业内也有很多其他比对方法：

采用第三方工具，诸如ue、merge等工具软件结合使用来比对；在数据库中通过存储过程采用游标的方式来比对；采用hash表存储数据的方式来比对。

下面首先对几个术语进行说明：

Hash表一种常用的数据存储结构，又叫哈希表或散列表。

线性表一种常用的数据存储结构，其逻辑结构简单，便于实现和操作。

Merge一种文本比较工具。

上述方法1用来比较小数据量的文件数据时还可以胜任，但如果用来处理大量数据的时候，往往操作者会顾此失彼，产生很多错误，导致比对效率十分低下；方法2所采用的方式是借助数据库的特性来处理、完成比对工作，这不失为一个简便的处理方式，但是其缺点正是数据库本身固有且无法克服的：对系统软、硬件环境的依赖性高，处理速度也很慢；方法3是当前被普遍采用的一种比对方法，相对于前面的两种方式，其拥有处理效率较高的优势，但是经过测试发现其在处理海量数据的时候，对计算机的软、硬件的要求很高，对内存的占用率特别大。

可见，现有技术中的数据比对方法，或是比对效率低下，或是虽然效率较高，但对系统软、硬件环境的依赖性高，仍有待改进。

发明内容

本发明提供了一种数据比对的方法与装置，能够在数据比对时提高数据比对的效率。

为了解决上述技术问题，本发明采用了如下技术方案：

一种数据的比对方法，包含以下处理步骤：

1、采集原始数据，生成比对数据和被比对数据；

2、将比对数据读入内存；

3、逐条读取被比对数据，与内存中的比对数据比较，输出比较结果。

在上述数据比对方法的一种实施例中，对内存中所述比对数据进行快速排序。

在上述数据比对方法的一种实施例中，在内存中采用紧凑的线性表结构存储所述比对数据。

在上述数据比对方法的一种实施例中，所述原始数据的数据格式包括文本数据格式、或数据库表数据格式。

在上述数据比对方法的一种实施例中，所述的比对数据和被对比数据的数据格式是文本数据格式。

在上述数据比对方法的一种实施例中，还包含以下处理步骤：采用读取配置文件的方式对来比对结果做出相应的处理。

在上述数据比对方法的一种实施例中，还包含以下处理步骤：设置用于记录数据比对过程中信息的日志文件。

本发明还公开了一种数据比对装置，包含数据提取模块和数据比对模块，其中：

数据提取模块采集原始数据，生成比对数据和被比对数据；

数据比对模块将比对数据读入内存；

数据比对模块逐条读取被比对数据，与内存中的比对数据比较，输出比较结果。

与现有技术相比，本发明的有益效果在于：

本发明首先采集原始数据，生成比对和被比对的两部分数据。进行比对时先将比对数据读入内存，然后逐条读取被比对数据，与内存中的比对数据比较，输出比较结果。如此，原始数据经过处理生成比对和被比对数据，将比对数据读入内存，逐条读取被比对数据，与内存中的比对数据比较，可以提高数据比对效率。

附图说明

图1示例性的描述了本发明的比对流程图；

图2示例性的描述了一般数据存储结构和紧凑数据存储结构的对比，其中图2A为一般数据存储结构，图2B为紧凑数据存储结构；

图3示例性的描述了本发明的结构图；

图4示例性的描述了本发明的数据存储链表图；

图5示例性的描述了本发明的尾号线性图；

具体实施方式

下面结合附图对本发明的具体实施方式进行详细说明：

本发明一个实施例的数据比对方法，其比对的总体流程可以按如下处理步骤进行：

1、采集原始数据，生成比对数据和被比对数据；

2、将比对数据读入内存；

3、逐条读取被比对数据，与内存中的比对数据比较，输出比较结果。