[发明专利]一种删除数据的方法及装置

权利要求书

1.一种删除数据的方法，其特征在于，所述方法包括：

读取配置文件，并判断运行模式是否正确，所述配置文件包括数据存储规则；

若所述运行模式正确，则选择SQL数据清洗规则或者rowkey数据清洗规则，所述SQL数据清洗规则包括配置到文件中的将要删除的数据的查询SQL；

根据所述配置文件中的数据存储规则，将rowkey数据按照表名进行分组保存并去重，并判断是否存在待删除数据分组；

若存在待删除数据分组，则判断是否超过每次最大提交数，若否，则删除数据，并返回继续判断是否存在待删除数据分组；

若超过每次最大提交数，则分批次删除数据，并返回继续判断是否存在待删除数据分组。

2.根据权利要求1所述的方法，其特征在于，所述读取配置文件，包括：

读取config.properties获取dbConnInfo.json、bucketInfo.json存放路径、查询系统接口、每次最大数据删除数；

读取所述dbConnInfo.json并获取solr、hbase的zookeeper链接；

读取所述bucketInfo.json并获取数据存储规则。

3.根据权利要求1所述的方法，其特征在于，所述选择SQL数据清洗规则，包括：

当以SQL模式进行数据清洗时，通过调用海量数据查询系统接口查询rowkey数据。

4.根据权利要求1至3任意一项所述的方法，其特征在于，所述方法还包括：若所述运行模式不正确，则退出数据删除流程。

5.一种删除数据的装置，其特征在于，所述装置包括：

读取模块，用于读取配置文件，所述配置文件包括数据存储规则；

第一判断模块，用于判断运行模式是否正确；

选择模块，用于若所述运行模式正确，则选择SQL数据清洗规则或者rowkey数据清洗规则，所述SQL数据清洗规则包括配置到文件中的将要删除的数据的查询SQL；

分组模块，根据所述配置文件中的数据存储规则，将rowkey数据按照表名进行分组保存并去重；

第二判断模块，用于判断是否存在待删除数据分组；

处理模块，用于若存在待删除数据分组，则判断是否超过每次最大提交数，若否，则删除数据，并返回继续判断是否存在待删除数据分组；若超过每次最大提交数，则分批次删除数据，并返回继续判断是否存在待删除数据分组。

6.根据权利要求5所述的装置，其特征在于，所述读取模块，具体用于：

读取config.properties获取dbConnInfo.json、bucketInfo.json存放路径、查询系统接口、每次最大数据删除数；

读取所述dbConnInfo.json并获取solr、hbase的zookeeper链接；

读取所述bucketInfo.json并获取数据存储规则。

7.根据权利要求5所述的装置，其特征在于，所述选择模块，具体用于：

当以SQL模式进行数据清洗时，通过调用海量数据查询系统接口查询rowkey数据。

8.根据权利要求5至7任意一项所述的装置，其特征在于，所述装置还包括：

退出模块，用于若所述运行模式不正确，则退出数据删除流程。