[发明专利]一种基于HashMap数据结构的分布式比较方法

说明书

本发明提供了一种基于HashMap数据结构的分布式比较方法，方法包括：获取原始数据和目标数据；采用多节点共享计算池，对原始数据中的元素与目标数据中的元素进行比较；将比较获取的一致元素、更新元素、删除元素和新增元素向结果集传输；并将原始数据中的与目标数据中的一致元素、原始数据中的更新元素和目标数据中的更新元素、原始数据中的删除元素和目标数据中的新增元素删除；最后将结果集向数据接收端传输；通过上述方法实现了对元素比较结果一致、更新、新增、删除四种状态的判断；并且在元素比较完成之后，便将相比较的元素从原始数据和目标数据中删除，进一步地提高了对原始数据和目标数据中的元素的比较效率。

技术领域

本发明涉及数据处理技术领域，特别涉及一种基于HashMap数据结构的分布式比较方法。

背景技术

目前，在金融行业软件中，经常需要对比业务数据的一致性，获取数据的比较结果，比较结果为一致、更新、新增、删除四种状态，并将获取的比较结果供业务模块处理。而金融数据的特点是数据量大、数据元素关系和属性复杂(存在一对多，多对多的关系，元素属性通常超过30个)，使用传统的线性表、哈希表或数据库比对的方式无法满足性能要求。

HashMap(哈希映射)在存储元素时，如果出现哈希值取余冲突，元素会存入到链表中，在大数据量存储时，索引的计算时间会变长，同时链表中的数据量会非常大，严重影响HashMap查找效率，在比对新增、修改、一致性的元素比较时，因可以采用正向比较(即遍历目标数据的方法，通过KEY在原始数据中进行查找)方法进行比较，所消耗的时间较长，但需要查找目标元素在原始数据中是否删除时，传统方法需要再反向查找一次(即遍历原始数据，在目标数据中进行查找，如果找不到该元素，则标记为删除)，使得消耗的时间进一步加长。

因此，急需一种基于HashMap数据结构的分布式比较方法。

发明内容

为解决上述技术问题，本发明提供一种基于HashMap数据结构的分布式比较方法，用以提高对元素的比较效率。

本发明实施例中提供了一种基于HashMap数据结构的分布式比较方法，所述方法包括：

获取原始数据和目标数据；

采用多节点共享计算池，对所述原始数据中的元素与所述目标数据中的元素进行比较；

将所述原始数据中与所述目标数据中标号相同的元素进行比较，当比较一致时，则将所述元素标记为一致元素，并将所述一致元素向结果集传输；并将所述原始数据中的与所述目标数据中的所述一致元素删除；

当所述原始数据中与所述目标数据中的标号相同的元素比较不一致时，则将所述原始数据中的所述元素与所述目标数据中的所述元素标记为更新元素，并将所述更新元素向所述结果集传输；并将所述原始数据中的所述更新元素和所述目标数据中的所述更新元素删除；

当所述原始数据中存在有所述目标数据中不包含的元素时，则将所述元素标记为删除元素，并将所述删除元素向所述结果集传输；并将所述原始数据中的所述删除元素删除；

当所述目标数据中存在有所述原始数据中不包含的元素时，则将所述元素标记为新增元素，并将所述新增元素向所述结果集传输；并将所述目标数据中的所述新增元素删除；

将所述结果集向数据接收端传输。

在一个实施例中，将所述结果集向数据接收端传输之前还包括：

根据所述元素的标号，对所述结果集中的元素进行排序处理。

在一个实施例中，采用多节点共享计算池，对所述原始数据中的元素与所述目标数据中的元素进行比较之后，还包括：

获取多节点共享计算池，对所述原始数据中的元素与所述目标数据中的元素进行比较所耗费的时间；具体包括：