[发明专利]一种数据对账方法、装置、设备及介质

权利要求书

1.一种数据对账方法，其特征在于，包括：

利用用于处理离线数据的预设数据仓库工具查询目标系统中的离线数据表，并将查询到的所述离线数据表发送至预设消息订阅系统；

监听所述预设消息订阅系统接收到所述离线数据表后生成的数据消息，并将所述数据消息存储到预设数据库管理系统中的在线数据表中；

利用预设数据对账脚本对所述预设数据库管理系统中的所述在线数据表实现数据对账。

2.根据权利要求1所述的数据对账方法，其特征在于，所述利用用于处理离线数据的预设数据仓库工具查询目标系统中的离线数据表，并将查询到的所述离线数据表发送至预设消息订阅系统，包括：

利用hive查询目标系统中的离线数据表，并将查询到的所述离线数据表发送至预设消息订阅系统。

3.根据权利要求2所述的数据对账方法，其特征在于，所述利用hive查询目标系统中的离线数据表，并将查询到的所述离线数据表发送至预设消息订阅系统，包括：

利用hive查询目标系统中的离线数据表，并利用hive hook机制将查询到的所述离线数据表发送至预设消息订阅系统。

4.根据权利要求1所述的数据对账方法，其特征在于，所述利用用于处理离线数据的预设数据仓库工具查询目标系统中的离线数据表，并将查询到的所述离线数据表发送至预设消息订阅系统，包括：

利用用于处理离线数据的预设数据仓库工具查询目标系统中的离线数据表，并将查询到的所述离线数据表发送至kafka；

相应的，所述监听所述预设消息订阅系统接收到所述离线数据表后生成的数据消息，并将所述数据消息存储到预设数据库管理系统中的在线数据表中，包括：

监听kafka接收到所述离线数据表后生成的数据消息，并将所述数据消息存储到预设数据库管理系统中的在线数据表中。

5.根据权利要求1所述的数据对账方法，其特征在于，所述利用预设数据对账脚本对所述预设数据库管理系统中的所述在线数据表实现数据对账，包括：

利用以Groovy语言开发的预设数据对账脚本对所述预设数据库管理系统中的所述在线数据表实现数据对账。

6.根据权利要求1至5任一项所述的数据对账方法，其特征在于，所述监听所述预设消息订阅系统接收到所述离线数据表后生成的数据消息，并将所述数据消息存储到预设数据库管理系统中的在线数据表中之后，还包括：

查询预设服务框架下目标系统中的在线数据源对应的数据源数据；

相应的，所述利用预设数据对账脚本对所述预设数据库管理系统中的所述在线数据表实现数据对账，包括：

利用预设数据对账脚本，在所述数据源数据和所述预设数据库管理系统中在线数据表之间展开数据对账。

7.根据权利要求1至5任一项所述的数据对账方法，其特征在于，所述利用用于处理离线数据的预设数据仓库工具查询目标系统中的离线数据表，并将查询到的所述离线数据表发送至预设消息订阅系统，包括：

利用用于处理离线数据的预设数据仓库工具查询目标系统中的第一离线数据表与第二离线数据表，并将查询到的所述第一离线数据表与所述第二离线数据表发送至预设消息订阅系统；

相应的，所述利用预设数据对账脚本对所述预设数据库管理系统中的所述在线数据表实现数据对账，包括：

利用预设数据对账脚本，在所述预设数据库管理系统中的第一在线数据表和第二在线数据表之间展开数据对账；其中，所述第一在线数据表为与所述第一离线数据表对应的在线数据表，所述第二在线数据表为与所述第二离线数据表对应的在线数据表。