[发明专利]基于多路径备份的数据延时同步方法、装置、设备及介质

说明书

本发明公开了基于多路径备份的数据延时同步方法、装置及设备，方法包括：将应用系统所输入的待同步数据存储至消息集群，通过实时消费路径获取消息集群的数据信息实时写入数据仓库，同时通过延迟同步路径获取实时写入的消息数据信息并延迟同步至数据仓库，对实时写入的数据信息与延时同步的数据信息是否相一致进行验证得到验证结果，若验证结果为一致，在数据仓库中保留实时写入的数据信息。本发明属于数据同步技术领域，基于多个路径实现对数据信息的多路径备份同步，以提高将数据同步存储至数据仓库的可靠性，实时消费路径确保数据信息同步的时效性，延迟同步路径确保数据信息同步的可靠性，从而可提高对海量数据信息进行同步的效率及可靠性。

技术领域

本发明涉及数据同步技术领域，属于智慧城市中基于多路径备份以对数据信息进行延迟同步的应用场景，尤其涉及一种基于多路径备份的数据延时同步方法、装置、设备及介质。

背景技术

大型企业为确保数据存储安全，且方便对数据进行管理，通常需要将海量的数据加载至数据仓库中，数据经过抽取、清洗转换之后加载到数据仓库，可实现将企业中分散、凌乱、标准不统一的数据整合到一起，数据仓库可对数据进行存储，并能够进行复杂的分析操作得到数据分析结果，从而为企业的决策提供数据支持。然而现有的数据同步方法通常是按照固定周期从各业务数据表抽取数据，如每天运行一次，当天抽取前一天的数据，然而这一将数据同步至数据仓库的方法中延迟时间较长，且无法对当天的业务数据进行分析，基于单路径进行数据同步易因传输错误而导致数据同步出错，影响了进行数据同步的可靠性。因此，现有技术方法中对海量数据信息进行同步时存在延迟时间长的问题。

发明内容

本发明实施例提供了一种基于多路径备份的数据延时同步方法、装置及设备，旨在解决现有技术方法中对海量数据信息进行同步时所存在的延迟时间长的问题。

第一方面，本发明实施例提供了一种基于多路径备份的数据延时同步方法，方法包括：

若接收到来自所述应用系统的待同步数据，将所述待同步数据存储至所述消息集群；

通过所述实时消费路径获取所述消息集群的数据信息实时写入所述数据仓库；

所述消息集群同时将所述实时消费路径传输的数据信息通过所述延迟同步路径延迟同步至所述数据仓库；

所述数据仓库对延迟同步的所述数据信息与经所述实时消费路径实时写入的所述数据信息是否一致进行验证，得到对应的验证结果；

若所述验证结果为一致，保留经所述实时消费路径实时写入的所述数据信息。

第二方面，本发明实施例提供了一种基于多路径备份的数据延时同步装置，其包括：

数据存储单元，用于若接收到来自所述应用系统的待同步数据，将所述待同步数据存储至所述消息集群；

数据信息实时写入单元，用于通过所述实时消费路径获取所述消息集群的数据信息实时写入所述数据仓库；

数据信息延迟同步单元，用于所述消息集群同时将所述实时消费路径传输的数据信息通过所述延迟同步路径延迟同步至所述数据仓库；

数据信息验证单元，用于所述数据仓库对延迟同步的所述数据信息与经所述实时消费路径实时写入的所述数据信息是否一致进行验证，得到对应的验证结果；

数据信息保留单元，用于若所述验证结果为一致，保留经所述实时消费路径实时写入的所述数据信息。

第三方面，本发明实施例又提供了一种计算机设备，其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的基于多路径备份的数据延时同步方法。