[发明专利]数据恢复方法、装置、电子设备和介质

说明书

本申请提供了数据恢复方法、装置、电子设备和介质，涉及数据传输领域。本申请提供的数据恢复方法，在实现时，下游文件系统在接收到上游计算系统所发出关于目标压缩文件的压缩数据后，将压缩数据保存在本地缓存中；在发生故障而重启后，获取上游计算系统持久化在存储系统中的关于目标压缩文件的数据格式信息和有效传输长度；而后，根据数据格式信息和有效传输长度对目标压缩文件进行恢复。本申请所提供的方法考虑到了压缩数据和文档数据的差异性，在恢复数据的时候利用了数据格式信息进行辅助，保证了数据恢复的准确性。

技术领域

本申请涉及数据传输领域，具体而言，涉及数据恢复方法、装置、电子设备和介质。

背景技术

随着电子信息技术的发展，每天需要处理的业务数据在不断的扩大。对于当前已经扩大到PB级的业务数据，传统的单机处理技术早已无法有效的进行处理，进而产生了分布式计算技术来应对这种PB级业务数据的处理需求。

分布式计算技术可以将一个需要处理的大型任务分解成多个小任务，并由不同的网络节点(如服务器)分别完成每个小任务，最后再将每个小任务的处理结果进行整合，进而得到大型任务的处理结果。

随着对数据时效性要求的提高，在传统分布式技术的基础上，又出现了分布式流式计算技术，其中，Apache Flink就是一种新兴的分布式流式计算框架。分布式流式计算技术可以很好地对大规模流动数据在不断变化的运动过程中实时地进行分析，捕捉到可能有用的信息，并把结果发送到下一计算节点。

发明内容

本申请的目的在于提供数据恢复方法、装置、电子设备和介质。

在一些实施例中，一种数据恢复方法，作用于下游文件系统，该方法包括：

在接收到上游计算系统所发出关于目标压缩文件的压缩数据后，将压缩数据保存在本地缓存中；

在发生故障而重启后，获取上游计算系统持久化在存储系统中的关于目标压缩文件的数据格式信息和有效传输长度；

根据数据格式信息和有效传输长度对目标压缩文件进行恢复。

在一些实施例中，根据数据格式信息和有效传输长度对目标压缩文件进行恢复，包括：

根据有效数据长度和记录的压缩数据的到达顺序对压缩数据进行截断处理，以生成有效压缩数据；

根据数据格式信息生成目标压缩文件的文件尾；

根据有效压缩数据和文件尾对目标压缩文件进行恢复。

在一些实施例中，根据数据格式信息生成目标压缩文件的文件尾，包括：

根据上游计算系统持久化在存储系统中的关于目标压缩文件的文件头确定目标压缩文件的文件类型；

根据文件类型确定文件尾拼接方式；

根据确定的文件尾拼接方式和数据格式信息生成目标压缩文件的文件尾。

在一些实施例中，若文件类型为PDF类型；则数据格式信息包括交叉引用表、根节点信息和文件解析节点信息；根据确定的文件尾拼接方式和数据格式信息生成目标压缩文件的文件尾，包括：

将持久化在存储系统中的交叉引用表、根节点信息和文件解析节点信息按照预定顺序进行拼接，以形成目标压缩文件的文件尾。

在一些实施例中，若文件类型为Gzip类型；则数据格式信息包括校验码；根据确定的文件尾生成方式和数据格式信息生成目标压缩文件的文件尾，包括：

对有效传输长度进行取模运算，以确定压缩数据的标识符；

将校验码和标识符拼接成目标压缩文件的文件尾。