[发明专利]一种数据同步自动遍历方法

说明书

本发明公开了一种数据同步自动遍历方法，包括获取当前待同步数据的主键信息；将遍历结果存储到链表中；计算所需遍历数据库表中数据总量，根据预设数值进行强行分页，在分页节点添加页面标识作为遍历的结点；判断每条数据链表内是否存在所述页面标识，若存在，则遍历下一页数据；判断已遍历数据链表内是否存在未遍历数据；直至全部数据库表内数据遍历完毕，结束遍历完成数据同步。本发明通过在数据同步的遍历过程中，进行全部数据的分页处理，分页遍历数据库表内的数据，减小对CPU的损耗，降低单元数据对服务器的压力，提高系统的吞吐率和性能。

技术领域

本发明内容涉及数据处理技术领域，尤其涉及一种数据同步自动遍历方法。

背景技术

在软件系统开发过程中，无可避免的需要需要存储大量数据，为了数据维护、查找方便，在处理存储大量数据时，为了保证数据本身能够及时更新、删除，需要对数据库的全量数据进行同步时，以及避免遍历操作长时间独占CPU，使用遍历list获得每一个数据。

分段遍历过程中，通常需要先了解应用程序的运行逻辑，然后根据程序运行逻辑编写针对这个应用程序的测试程序，来实现遍历整个应用程序界面的工作，但是当不知道应用程序运行逻辑的情况下是很难正常进行遍历工作的，无法实现批量的自动遍历；另外直接全量数据进行遍历的方法性能比较低，同时也容易损耗CPU，影响程序性能。

发明内容

本发明内容所要解决的技术问题是针对背景技术中所涉及到的缺陷，提供一种数据同步自动遍历方法，通过设置遍历分页节点进行数据遍历，保证数据快速遍历完毕，复杂度低且性能效率高。

本发明内容的目的及解决的技术问题是采用以下技术方案来实现的：

一种数据同步自动遍历方法，包括以下步骤：

1.获取当前待同步数据的主键信息，所述主键信息中包括数据标识和数据文本；

2.将遍历结果存储到链表中；

3.计算所需遍历数据库表中数据总量，根据预设数值进行强行分页，每页数据条数固定，在分页节点添加页面标识作为遍历的结点；

4.判断每条数据链表内是否存在所述页面标识，若存在，则遍历下一页数据；

5.判断已遍历数据链表内是否存在未遍历数据，对比已遍历链表数据数量和遍历前设定的数据数量是否一致，如果不是，则重复此步骤；

6.直至已遍历数据链表数据数量达到遍历界面最大值，全部数据库表内数据遍历完毕，结束遍历完成数据同步。

优选的，所述分页后每页数据数量为提前设定。

优选的，所述数据库表中存在空页时，跳过空页后进行遍历。

优选的，所述数据库表中的数据为有序数据集合。

优选的，根据数据库表的总页数判断数据同步完成后，未来数据范围内的数量。

优选的，获取所述页面标识，然后循环获取所有页面的页面标识，最后依次判断是否可以触发获取下一页面的事件，从而遍历当前所有可触发分页。

优选的，计算所需遍历数据库表中数据总量包括查询所需遍历数据库表中主键数量，所述主键包括趋势递增离散主键和自增主键，趋势递增离散主键和自增主键在进行数据同步的遍历时分别进行数据表存储、遍历的操作。

优选的，所述步骤3还包括：

查询并接收当前数据条数总量的参数，确定页面顺序；

获取当前数据页面的页面标识，将获取到的当前页面标识存入至页面标识链表中；

设定一个初始值为0的变量n,使当前数据页面编号为n，获取下一数据页面后n的数值加1；