[发明专利]一种数据备份方法、装置和设备

说明书

本说明书实施例提供了一种数据备份方法、装置和设备，涉及大数据技术领域，其中，该方法包括：接收目标用户提交的备份请求；备份请求中包含待备份数据的属性信息、筛选字段列表以及过滤条件；基于筛选字段列表、过滤条件和所述待备份数据的属性信息生成建表的结构化查询语句；利用所述建表的结构化查询语句将所述待备份数据抽取至生成的中间表中；根据所述过滤条件对所述中间表中的数据进行预处理，并逐行将预处理后的数据传输至目标数据库中；其中，所述预处理包括：特殊字符过滤。在本说明书实施例中，可以在对数据导出时有效地处理待备份数据中的特殊字符，进而有效避免在数据备份时特殊字符所在数据行的字段位置解析错乱。

技术领域

本说明书实施例涉及大数据技术领域，特别涉及一种数据备份方法、装置和设备。

背景技术

大数据技术正在蓬勃发展，越来越多企业采用建设大数据服务平台以及通过数据入湖的方式对业务数据进行统一管理和存储。基于Hadoop技术的数据湖保留了数据的原始信息，对数据本身的标准性要求不高，但不同应用对数据的需求不一，存在着从数据湖中导出数据文件进行后续加工处理的需求。

现有技术中，数据库通常默认不处理原始数据，但是在实际应用中通常会遇到存储在数据湖的原始数据含有特殊字符(如换行符和终止符)，未处理特殊字符直接导出数据文件以进行备份，在后续将文件导入到其他数据库系统时会出现特殊字符所在数据行的字段位置解析错乱的情况，从而产生负面影响。由此可见，采用现有技术中的技术方案无法确保准确地导出数据湖中的原始数据以进行备份。

针对上述问题，目前尚未提出有效的解决方案。

发明内容

本说明书实施例提供了一种数据备份方法、装置和设备，以解决现有技术中无法确保准确地导出数据湖中的原始数据以进行备份的问题。

本说明书实施例提供了一种数据备份方法，包括：接收目标用户提交的备份请求；其中，所述备份请求中包含待备份数据的属性信息、筛选字段列表以及过滤条件；基于所述筛选字段列表、过滤条件和所述待备份数据的属性信息生成建表的结构化查询语句；利用所述建表的结构化查询语句将所述待备份数据抽取至生成的中间表中；根据所述过滤条件对所述中间表中的数据进行预处理，并逐行将预处理后的数据传输至目标数据库中；其中，所述预处理包括：特殊字符过滤。

本说明书实施例还提供了一种数据备份装置，包括：接收模块，用于接收目标用户提交的备份请求；其中，所述备份请求中包含应用用户名、待备份数据的属性信息、筛选字段列表以及过滤条件；生成模块，用于基于所述筛选字段列表、过滤条件和所述待备份数据的属性信息生成建表的结构化查询语句；处理模块，用于利用所述建表的结构化查询语句将所述待备份数据抽取至生成的中间表中；传输模块，用于根据所述过滤条件对所述中间表中的数据进行预处理，并逐行将预处理后的数据传输至目标数据库中；其中，所述预处理包括：特殊字符过滤。

本说明书实施例还提供了一种数据备份设备，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现所述数据备份方法的步骤。

本说明书实施例还提供了一种计算机可读存储介质，其上存储有计算机指令，所述指令被执行时实现所述数据备份方法的步骤。

本说明书实施例提供了一种数据备份方法，可以通过接收目标用户提交的备份请求；其中，所述备份请求中可以包含待备份数据的属性信息、筛选字段列表以及过滤条件。可以基于所述筛选字段列表、过滤条件和所述待备份数据的属性信息生成建表的结构化查询语句，利用所述建表的结构化查询语句将所述待备份数据抽取至生成的中间表中，从而可以得到需要备份的数据。进一步的，可以根据所述过滤条件对所述中间表中的数据进行预处理，并逐行将预处理后的数据传输至目标数据库中；其中，所述预处理可以包括：特殊字符过滤。从而可以在对数据导出时有效地处理待备份数据中的特殊字符，不丢失数据真实性和完整性，进而有效避免在数据备份时特殊字符所在数据行的字段位置解析错乱。

附图说明