[发明专利]一种大数据归档方法、装置、设备及存储介质

说明书

本发明公开了一种大数据归档方法、装置、设备及存储介质，首先获取归档策略和归档表，然后基于归档策略和归档表，创建对应的分区表，当检测到归档表的数据发生改变时，查找到发生改变的数据对应的目标分区表，再根据目标分区表，捕获发生改变的数据，将发生改变的数据发送至少一个发送队列中，之后逐一将各发送队列中的数据发送至大数据的存储层中的目标表中，最后基于归档策略，对源数据库中的归档表进行删除。与现有技术相比，本发明实施例通过自动将归档表中的发生改变数据发送至大数据的存储层中的目标表中，实现归档表与目标表的数据同步，从而根据用户的需求，自动进行数据的归档，无要人工手动操作数据的归档，提高归档效率及可靠性。

技术领域

本发明涉及一种数据处理领域，特别是涉及一种大数据归档方法、装置、设备及存储介质。

背景技术

随着互联网企业的快速发展，其后端数据库存储的数据和占据的磁盘空间越来越大。因此为了保证线上服务的高可用，需要及时清理暂时不用的历史数据，从而释放数据库的存储空间。

目前，实现释放数据的存储空间的做法基本停留在数据库管理员手动地把数据从源数据库归档到另一个数据库中，不仅耗时，效率低下，而且归档的可靠性较低。

发明内容

有鉴于此，本发明提供一种大数据归档方法、装置、设备及存储介质，主要目的在于解决现有技术中数据库管理员手动地把数据从源数据库归档到另一个数据库中，不仅耗时，效率低下，而且归档的可靠性较低的问题。

根据本发明的一方面，提供了一种大数据归档方法，包括：

获取归档策略和与所述归档策略相应的归档表；

基于所述归档策略和归档表，创建对应的分区表；

当检测到所述归档表的数据发生改变时，查找到发生改变的数据对应的目标分区表；

根据所述目标分区表，捕获所述发生改变的数据；

将所述发生改变的数据发送至少一个发送队列中；

逐一将各发送队列中的数据发送至大数据的存储层中的目标表中；

基于所述归档策略，对源数据库中的所述归档表进行删除。

具体地，所述当检测到所述归档表的数据发生改变时，查找到发生改变的数据对应的目标分区表，包括：

当检测到所述归档表的数据发生改变时，创建相应的更新日志，所述更新日志包括发生改变数据对应的目标分区表的地址信息；

根据所述更新日志，查找到所述目标分区表。

具体地，所述逐一将各发送队列中的数据发送至大数据的存储层中的目标表中，包括：

根据各发送队列中的数据的属性，确定各发送队列的优先级；

按照优先级由高到低的顺序，依次将各发送队列中的数据发送至大数据的存储层中的目标表中。

具体地，所述逐一将各发送队列中的数据发送至大数据的存储层中的目标表中之后，包括：

获取所述归档表中发生改变的数据与所述目标表中的数据之间的映射关系；

基于所述映射关系，对所述目标表中的数据进行校验处理。

具体地，所述基于所述映射关系，对所述目标表中的数据进行校验处理，包括：

根据预设算法，确定所述归档表中发生改变的数据的第一校验值，以及发送至所述目标表中的数据的第二校验值；