[发明专利]一种数据对账方法、装置、设备及介质

说明书

本申请公开了一种数据对账方法、装置、设备及介质，涉及信息系统数据处理领域，该方法包括：利用用于处理离线数据的预设数据仓库工具查询目标系统中的离线数据表，并将查询到的所述离线数据表发送至预设消息订阅系统；监听所述预设消息订阅系统接收到所述离线数据表后生成的数据消息，并将所述数据消息存储到预设数据库管理系统中的在线数据表中；利用预设数据对账脚本对所述预设数据库管理系统中的所述在线数据表实现数据对账。本发明能够使用各系统在其主业务中已产生的离线数据，并利用动态的数据对账脚本实现数据的快速比对处理，从而降低数据对账的技术资源投入成本及时间成本。

技术领域

本发明涉及信息系统数据处理领域，特别涉及一种数据对账方法、装置、设备及介质。

背景技术

随着互联网发展，涌现了大量的电商交易平台。这些电商平台的交易系统随着自身业务的飞速发展，逐渐变得愈加复杂。

在整个交易过程中，交易涉及到的资金流数据及信息流数据在各系统进行传递与存储。而由于网络的不稳定性、系统的漏洞等因素导致局部系统的数据丢失与错误，因此需要数据对账来确保各方数据存储的正确性与一致性。

传统的数据对账方式，需要两方系统的负责人各自确定数据供给方案及数据比对逻辑。往往实现整一套系统，从提供特定的数据源，再到实现对应的数据比对系统，最终来完成对账，整体耗费的时间成本与研发资源都是巨大的。

由上可见，在数据对账过程中，如何避免出现由于传统的数据对账方法导致耗费巨大的时间成本与研发资源是本领域有待解决的问题。

发明内容

有鉴于此，本发明的目的在于提供一种数据对账方法、装置、设备及介质，能够使用各系统在其主业务中已产生的离线数据，并利用动态的数据对账脚本实现数据的快速比对处理，从而降低数据对账的技术资源投入成本及时间成本。其具体方案如下：

第一方面，本申请公开了一种数据对账方法，包括：

利用用于处理离线数据的预设数据仓库工具查询目标系统中的离线数据表，并将查询到的所述离线数据表发送至预设消息订阅系统；

监听所述预设消息订阅系统接收到所述离线数据表后生成的数据消息，并将所述数据消息存储到预设数据库管理系统中的在线数据表中；

利用预设数据对账脚本对所述预设数据库管理系统中的所述在线数据表实现数据对账。

可选的，所述利用用于处理离线数据的预设数据仓库工具查询目标系统中的离线数据表，并将查询到的所述离线数据表发送至预设消息订阅系统，包括：

利用hive查询目标系统中的离线数据表，并将查询到的所述离线数据表发送至预设消息订阅系统。

可选的，所述利用hive查询目标系统中的离线数据表，并将查询到的所述离线数据表发送至预设消息订阅系统，包括：

利用hive查询目标系统中的离线数据表，并利用hive hook机制将查询到的所述离线数据表发送至预设消息订阅系统。

可选的，所述利用用于处理离线数据的预设数据仓库工具查询目标系统中的离线数据表，并将查询到的所述离线数据表发送至预设消息订阅系统，包括：

利用用于处理离线数据的预设数据仓库工具查询目标系统中的离线数据表，并将查询到的所述离线数据表发送至kafka；

相应的，所述监听所述预设消息订阅系统接收到所述离线数据表后生成的数据消息，并将所述数据消息存储到预设数据库管理系统中的在线数据表中，包括：

监听kafka接收到所述离线数据表后生成的数据消息，并将所述数据消息存储到预设数据库管理系统中的在线数据表中。

可选的，所述利用预设数据对账脚本对所述预设数据库管理系统中的所述在线数据表实现数据对账，包括：