[发明专利]增量数据的同步方法、装置、计算机设备和存储介质

说明书

本发明提供了一种增量数据的同步方法、装置、计算机设备和存储介质。该增量数据的同步方法包括：获取数据源在第一时间的状态图，得到第一状态图，其中，状态图为树形数据结构，状态图包括若干个节点层，每个节点层包括若干个节点，节点对应一个数据对象，节点的信息包括数据对象的属性，节点层用于表征数据对象在数据源中的层级；在第二时间监控数据源的状态信息，得到第二状态信息，其中，状态信息包括数据源中数据对象的属性；将第二状态信息与第一状态图进行比对，以确定数据源中增量的数据对象；以及从数据源中获取增量的数据对象并同步至目标存储介质。通过本发明，提升增量数据同步的效率。

技术领域

本发明涉及大数据技术领域，尤其涉及一种增量数据的同步方法、装置、计算机设备和存储介质。

背景技术

在一些数据运用的场景中，由于上游数据每天都在发生变化，因此使用这些数据的下游系统需要每天刷新这些变化的数据。当数据量较小时，通常采用的刷新方式是每次对上游数据进行全量更新。但随着业务的增长，特别是在大数据应用场景中，数据量会呈几何方式增长，以达到亿级别甚至更多，此时，若每次还进行全量更新，将非常耗时耗力，并且也是下游系统业务方无法忍受的，此时就需要变全量同步更新变为增量数据同步。

增量数据同步，不再需要将全部上游数据复制到下游系统中，而仅仅只抽取上游数据中增量变化的内容。现有技术中提出一种增量数据的同步方法，在该方法中，通过数据读取插件读取和查询数据源中的增量数据，并将查询到的增量数据同步到下游系统，但是，当数据源中数据量较大时，读取和查询过程需要较长的时间，仍然存在耗时的问题。

因此，提供一种增量数据的同步方法、装置、计算机设备和存储介质，以提升增量数据同步的效率，成为本领域技术人员亟待解决的技术问题。

发明内容

本发明的目的是提供一种增量数据的同步方法、装置、计算机设备和存储介质，用于解决现有技术中的上述技术问题。

一方面，为实现上述目的，本发明提供了一种增量数据的同步方法。

该增量数据的同步方法包括：获取数据源在第一时间的状态图，得到第一状态图，其中，状态图为树形数据结构，状态图包括若干个节点层，每个节点层包括若干个节点，节点对应一个数据对象，节点的信息包括数据对象的属性，节点层用于表征数据对象在数据源中的层级；在第二时间监控数据源的状态信息，得到第二状态信息，其中，状态信息包括数据源中数据对象的属性；将第二状态信息与第一状态图进行比对，以确定数据源中增量的数据对象；以及从数据源中获取增量的数据对象并同步至目标存储介质。

进一步地，在确定数据源中增量的数据对象的步骤之后，增量数据的同步方法还包括：根据增量的数据对象更新第一状态图，以得到第二状态图。

进一步地，根据增量的数据对象更新第一状态图，以得到第二状态图的步骤包括：构建对应增量的数据对象的节点，作为增量节点；在增量的数据对象对应的节点层增加增量节点，并将增量节点标记为检查节点；在从数据源中获取增量的数据对象并同步至目标存储介质之后，增量数据的同步方法还包括：获取第二状态图中的检查节点，以分析数据源的变化。

进一步地，将第二状态信息与第一状态图进行比对，以确定数据源中增量的数据对象的步骤包括：监控数据源中第一层级的第一数据对象的属性，得到第一属性，其中，第一数据对象为第一层级中的一个数据对象，第一层级对应第一状态图中的第一节点层；判断第一节点层是否包括第一数据对象对应的第一节点；若第一节点层包括第一节点，将第一属性与第一节点的节点信息进行比对；若第一节点层不包括第一节点，确定第一数据对象为增量的数据对象；若第一属性与第一节点的节点信息相同，监控第二数据对象的属性，其中，第二数据对象与第一数据对象均位于第一层级；若第一属性与第一节点的节点信息不同，监控数据源中第三数据对象的属性，其中，第三数据对象为第一数据对象下一层级的一个数据对象。