[发明专利]数据版本管理方法、装置、设备及存储介质

说明书

本发明涉及数据处理领域，本发明公开了一种数据版本管理方法、装置、设备及存储介质，通过在预设数据库中设置用于持久化存储运行数据的更新日志表及数据表；对待运行数据进行实时监控，获取所述待运行数据的实时数据版本信息；根据所述实时数据版本信息对所述更新日志表和所述数据表进行更新，能够实时跟踪数据版本中数据变化,并根据数据版本的更新变化进行更高效的数据管理,提高了数据版本管理的速度和效率，降低了数据管理的人工消耗和数据误差，避免了数据库崩溃引起的数据丢失问题，提升了用户体验。

技术领域

本发明涉及数据处理领域，尤其涉及一种数据版本管理方法、装置、设备及存储介质。

背景技术

现在大数据时代，各行各业的行业数据产生规模很大，但是有效的数据版本管理比较少见；现有的数据监控方式是通过修改数据监控脚本的执行权限，获得脚本的运行结果，根据运行结果实现对数据库的监控，但是现有的数据监控存在无法对数据版本进行实时监控，了解数据变化，且需要对数据进行修改操作，流程较为复杂，从而容易导致数据管理的效率低下，与现有系统不兼容的问题。

发明内容

本发明的主要目的在于提供一种数据版本管理方法、装置、设备及存储介质，旨在解决现有技术中数据监控无法实时获取数据变化，操作复杂，管理效率低下且与现有系统不兼容导致数据库崩溃，数据丢失的技术问题。

为实现上述目的，本发明提供一种数据版本管理方法，所述数据版本管理方法包括以下步骤：

在预设数据库中设置用于持久化存储运行数据的更新日志表及数据表；

对待运行数据进行实时监控，获取所述待运行数据的实时数据版本信息；

根据所述实时数据版本信息对所述更新日志表和所述数据表进行更新。

优选地，所述在预设数据库中设置用于持久化存储运行数据的更新日志表及数据表的步骤，包括：

获取预设线程池中各线程的多个查询语句，根据预设关键字将多个查询语句合并为一个目标查询语句；

根据所述目标查询语句获取各线程的会话状态，将所述会话状态处于临时状态的线程删除，并将删除后的线程作为目标线程；

在预设数据库中设置目标线程，所述目标线程为在预设时间周期内从预设队列中循环获取数据的线程；

获取预设日志表格式和预设数据表格式，根据所述预设日志表格式、所述预设数据表格式和所述目标线程设置用于持久化存储运行数据的更新日志表及数据表。

优选地，所述对待运行数据进行实时监控，获取所述待运行数据的实时数据版本信息的步骤，包括：

响应于数据处理请求，对待运行数据进行实时监控，获取所述待运行数据在运行过程中产生的数据工作流；

对数据工作流进行分析，获得所述待运行数据的实时数据版本信息。

优选地，所述响应于数据处理请求，对待运行数据进行实时监控，获取所述待运行数据在运行过程中产生的数据工作流的步骤，包括：

响应于数据处理请求，对待运行数据进行实时监控；

在检测到所述待运行数据在运行过程中出现的运行关键字和停止关键字时，将所述运行关键字和所述停止关键字之间对应的数据流进行截取，并将所述数据流作为数据工作流。

优选地，所述对数据工作流进行分析，获得所述待运行数据的实时数据版本信息的步骤，包括：

对数据工作流进行分析，获得所述数据工作流中的索引信息；

从所述索引信息中获取所述待运行数据对应的简要信息、版本标识和起止时间；