[发明专利]一种HBase大批量数据删除方法、装置、电子设备和存储介质

权利要求书

1.一种HBase大批量数据删除方法，其特征在于，包括：

使用MapReduce读取待删除数据，对所述待删除数据进行自定义封装，得到封装好的待删除数据；

将所述封装好的待删除数据迁移并导入到HBase集群所在的HDFS上，执行删除命令。

2.根据权利要求1所述的一种HBase大批量数据删除方法，其特征为，所述使用MapReduce读取待删除数据，对所述待删除数据进行自定义封装，得到封装好的待删除数据，具体包括：

定义Map方法输入阶段和输出阶段的Key、Value类型；

设置HDFS文件路径；

对所述Map方法进行重写，定义数据删除逻辑；

根据所述数据删除逻辑筛选和封装所述待删除数据，选定操作类的类型；

将封装好的所述待删除数据回写。

3.根据权利要求2所述的一种HBase大批量数据删除方法，其特征在于，所述根据所述数据删除逻辑筛选和封装所述待删除数据，选定操作类的类型，具体包括：

将符合所述数据删除逻辑的所述待删除数据封装为KeyValue类的格式；所述KeyValue类的类型选为Delete。

4.根据权利要求3所述的一种HBase大批量数据删除方法，其特征在于，所述将封装好的所述待删除数据回写，具体包括：

将所述封装好的待删除数据以HFile形式存入所述HDFS文件路径，得到HFile文件。

5.根据权利要求4所述的一种HBase大批量数据删除方法，其特征在于，所述将所述封装好的待删除数据迁移并导入到HBase集群所在的HDFS上，执行删除命令，具体包括：

将所述HFile文件迁移到HBase集群，使用BulkLoad的方式将所述HFile文件导入所述HBase集群所在的HDFS上，执行删除命令。

6.一种HBase数据删除装置，其特征在于，包括：

数据封装模块，被配置为，使用MapReduce读取待删除数据，对所述待删除数据进行自定义封装，得到封装好的待删除数据；

命令执行模块，被配置为，将所述封装好的待删除数据迁移并导入到HBase集群所在的HDFS上，执行删除命令。

7.根据权利要求6所述的一种HBase大批量数据删除装置，其特征在于，所述使用MapReduce读取待删除数据，对所述待删除数据进行自定义封装，得到封装好的待删除数据，具体包括：

定义Map方法输入阶段和输出阶段的Key、Value类型；

设置HDFS文件路径；

对所述Map方法进行重写，定义数据删除逻辑；

根据所述数据删除逻辑筛选和封装所述待删除数据，选定操作类的类型；

将封装好的所述待删除数据回写。

8.根据权利要求6所述的一种HBase大批量数据删除装置，其特征在于，所述根据所述数据删除逻辑筛选和封装所述待删除数据，选定操作类的类型，具体包括：

将符合所述数据删除逻辑的所述待删除数据封装为KeyValue类的格式；所述KeyValue类的类型选为Delete。

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至5任意一项所述的方法。

10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行权利要求1至5任一所述方法。