[发明专利]数据清理方法、装置、电子设备和介质

说明书

本公开提供了一种数据清理方法，包括获得数据清理任务，所述数据清理任务用于清理指定交易时间范围内的交易数据，根据所述数据清理任务确定待清理的第一交易信息表以及所述第一交易信息表中的第一交易数据，其中，所述第一交易信息表中存在针对所述第一交易数据的第一硬链接，建立针对所述第一交易数据的第二硬链接，其中，在硬链接中的最后一个被删除时，才删除该硬链接所针对的数据，删除所述第一硬链接，以及删除所述第二硬链接。本公开还提供了一种数据清理装置、一种电子设备以及一种计算机可读存储介质。

技术领域

本公开涉及一种数据清理方法、装置、电子设备和介质。

背景技术

为了统一管理第三方支付过程，需要在支付机构和银行之间设置交易清算系统，每个交易都通过该交易清算系统转发和记录，从而能够在该交易清算系统处进行管理。

随着业务的发展，交易清算系统存储的交易数据的数据量越来越大。为了保证业务持续、稳定的运行，数据归档、数据清理就变得尤为重要。通过数据清理操作使线上数据量规模需要稳定在某个量级之内，同时在数据清理、数据归档等数据维护操作时又不能影响现有业务的运行。

目前大多数公司数据清理时都是先将数据迁移到历史库或归档库留存下来供历史信息查询备用，后根据业务需求定期批量逻辑删除历史数据。然而，批量数据逻辑删除时服务器读写会比较繁忙，导致业务系统请求响应耗时变长甚至失败。因此通用的方法是将数据清理任务放在业务低峰期运行，但很多场景下业务上没有绝对意义的业务低峰期，使用此类数据清理方案无法真正实施。

发明内容

本公开的一个方面提供了一种数据清理方法，包括获得数据清理任务，所述数据清理任务用于清理指定交易时间范围内的交易数据，根据所述数据清理任务确定待清理的第一交易信息表以及所述第一交易信息表中的第一交易数据，其中，所述第一交易信息表中存在针对所述第一交易数据的第一硬链接，建立针对所述第一交易数据的第二硬链接，其中，在硬链接中的最后一个被删除时，才删除该硬链接所针对的数据，删除所述第一硬链接，以及删除所述第二硬链接。

可选地，在获得数据清理任务之前，所述方法还包括转发并存储交易数据。

可选地，所述所述根据所述数据清理任务确定待清理的第一交易信息表以及所述第一交易信息表中的第一交易数据包括，根据所述数据清理任务，确定第二交易信息表中待清理的第一分区，创建空表作为第一交易信息表，以及修改所述第一交易信息表和第二交易信息表的元数据，使得所述第一分区与所述第一交易信息表中的数据交换，确定交换后的第一交易信息表以及所述第一交易信息表中的第一交易数据。

可选地，所述删除所述第一硬链接包括使用数据定义语言删除所述第一交易信息表中的第一交易数据。

可选地，在删除所述第一硬链接之前，所述方法还包括确定是否存在所述第一交易数据的备份数据，以及在不存在所述第一交易数据的备份数据的情况下，拒绝清理所述第一交易数据。

可选地，在删除所述第一硬链接之前，所述方法还包括确定在预定时间范围内是否存在对所述第一交易数据的读写访问，以及在预定时间范围内存在对所述第一交易数据的读写访问的情况下，拒绝清理所述第一交易数据。

本公开的另一个方面提供了一种数据清理装置，包括获得模块、第一确定模块、建立模块、第一删除模块以及第二删除模块。获得模块，用于获得数据清理任务，所述数据清理任务用于清理指定交易时间范围内的交易数据。第一确定模块，用于根据所述数据清理任务确定待清理的第一交易信息表以及所述第一交易信息表中的第一交易数据，其中，所述第一交易信息表中存在针对所述第一交易数据的第一硬链接。建立模块，用于建立针对所述第一交易数据的第二硬链接，其中，在硬链接中的最后一个被删除时，才删除该硬链接所针对的数据。第一删除模块，用于删除所述第一硬链接。第二删除模块，用于删除所述第二硬链接。