[发明专利]删除数据的方法以及装置

权利要求书

1.一种删除数据的方法，包括：

在删除事务日志中记录第一删除任务需要删除的第一指定数据的主键和/或与所述第一指定数据的主键关联的第一关联数据的主键；

在所述第一删除任务异常退出的情况下，从所述删除事务日志中，提取出所述第一指定数据的主键和/或所述第一关联数据的主键；

根据提取出的所述第一指定数据的主键将所述第一指定数据删除，和/或，根据提取出的所述第一关联数据的主键将所述第一关联数据删除。

2.根据权利要求1所述的方法，还包括：

查找出第二指定数据表的关联数据表；

依据所述第二指定数据表的主键，生成与所述第二指定数据表的主键关联的第二关联数据的主键；

从所述第二指定数据表的关联数据表中，查找出不在所述第二关联数据的主键范围内的数据；

将所述第二指定数据表的关联数据表中，不在所述第二关联数据的主键范围内的数据删除。

3.根据权利要求2所述的方法，还包括：

对第二删除任务指定删除的第二指定数据表进行删除合法性检测；

如果所述删除合法性检测通过，进入所述查找出第二指定数据表的关联数据表的步骤。

4.根据权利要求2所述的方法，所述将第二指定数据表的关联数据表中，不在所述第二关联数据的主键范围内的数据删除包括：

将所述第二指定数据表的关联数据表中，不在所述第二关联数据的主键范围内的数据分批量并发删除。

5.根据权利要求1所述的方法，所述第一删除任务用于先删除所述第一关联数据的主键对应的数据，再删除所述第一指定数据的主键对应的数据；

所述根据提取出的所述第一指定数据的主键以及所述第一关联数据的主键，将所述第一指定数据以及所述第一关联数据删除包括：

先根据所述第一关联数据的主键，将所述第一关联数据删除；

再根据提取出的所述第一指定数据的主键，将所述第一指定数据删除。

6.根据权利要求1所述的方法，所述第一删除任务包括并发执行的多个删除任务。

7.根据权利要求1所述的方法，还包括：

基于生产者消费者模型，并发执行多个第二删除任务，所述多个第二删除任务用于删除第二指定数据表。

8.根据权利要求7所述的方法，所述方法应用于基于Spark作为计算层的大数据架构；

所述基于生产者消费者模型，并发执行多个第二删除任务包括：

基于Spark接口从数据库获取所述第二指定数据表的主键到Spark主节点；

Spark主节点作为生产者将所述第二指定数据表的主键分批量发给多个消费者队列；

所述多个消费者队列分别根据接收到的主键生成所述第二关联数据的主键；

所述多个消费者队列分别针对接收到的主键以及所述第二关联数据的主键，生成对应于所述第二删除任务的删除请求；

所述多个消费者队列分别并发向数据库发送所述删除请求；

所述方法还包括：

所述多个消费者队列分别将接收到的主键以及对应生成的所述第二关联数据的主键写入所述删除事务日志。

9.根据权利要求1或8所述的方法，所述删除事务日志，用于以内存文件映射方式进行日志记录。

10.一种删除数据的装置，包括：

删除日志记录模块，被配置为在删除事务日志中记录第一删除任务需要删除的第一指定数据的主键和/或与所述第一指定数据的主键关联的第一关联数据的主键；

主键提取模块，被配置为在所述第一删除任务异常退出的情况下，从所述删除事务日志中，提取出所述第一指定数据的主键和/或所述第一关联数据的主键；

删除恢复模块，被配置为根据提取出的所述第一指定数据的主键将所述第一指定数据删除，和/或，根据提取出的所述第一关联数据的主键将所述第一关联数据删除。