[发明专利]基于Hadoop的地震偏移成像作业续航方法及系统

说明书

公开了一种基于Hadoop的地震偏移成像作业续航方法及系统。该方法包括：将待计算的地震数据进行分块，获得多个分块数据；多个分块数据进行并行式任务计算，每个分块数据均进行如下步骤：创建临时文件目录；将分块数据的计算任务进行划分，获得多个子任务；依次对子任务进行计算，在每个子任务计算完成后，在临时文件目录下生成临时文件；将子任务的计算结果写入临时文件中；当所有子任务计算完成时，输出分块数据的计算结果，分块数据对应的计算任务完成。本发明对一个Mapper任务内的子成像空间偏移计算进行记录级断点保护，从计算断点恢复作业和继续计算，作业续航的计算结果与作业正常结束的结果无差异，且用时相当。

技术领域

本发明涉及油气勘探地球物理领域，更具体地，涉及一种基于Hadoop的地震偏移成像作业续航方法及系统。

背景技术

Hadoop是由Apache基金会发起开发，能对大量数据进行分布式处理的基础软件框架，其核心内容包括Hadoop分布式文件系统(简称：HDFS)和MapReduce并行计算编程模型等，其中HDFS为海量数据提供存储，则MapReduce(缩写：MR)为海量数据提供计算。HDFS将大数据集分割成小数据集存储在不同的计算机上，通过MapReduce编程模型尽可能的进行本地处理，从而实现并行化。

Hadoop以低廉硬件作为目标运行环境，其HDFS和MapReduce调度机制必然具有高容错性和高可靠性等特点，能动态迁移和恢复计算数据和任务，确保系统运行的稳定性和高效性。

从作业恢复粒度角度来看，当前存在三种不同级别的恢复机制，级别由低到高依次是作业级别、任务级别和记录级别，其中级别越低实现越简单，但造成的资源浪费也越严重。

地震数据处理属于传统的高性能计算，具有数据量大、计算量大、计算周期长等特点。这类并行计算软件一般采用MPI搭建一个非常复杂的并行计算框架，实现大规模异构集群的资源调度、负载均衡、高效运行。其断点续航是这类软件的必备功能，通常以最小计算单元为记录点，实现记录级别的作业续航。

而当前MapReduce的AppMaster采用任务级别的恢复机制，即以Task任务(包括Mapper和Reducer)为基本单位进行恢复，这种机制是基于事务型日志完成作业恢复的，它只关注两种任务：运行完成的任务和未完成的任务。作业执行过程中，如果某个Task计算进程失败或异常退出，MR-AppMaster会以日志的形式记录下该进程的状态，并迁移、重启该进程的任务，这将导致该进程已计算数据将重新计算。如果MR-AppMaster重启，虽然可从日志中恢复作业运行，但也会造成大量重复计算。这对于诸如大规模网页搜索一样的事务性事件处理并不会造成过多的机时浪费。而对于地震数据偏移成像处理，每个Map的计算任务包含多个子任务，即最小计算单元，如一个炮道集。每个计算单元的计算时间很长，任何重复计算都会造成很大的计算资源浪费。因此，有必要开发一种基于Hadoop的地震偏移成像作业续航方法及系统。

公开于本发明背景技术部分的信息仅仅旨在加深对本发明的一般背景技术的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域技术人员所公知的现有技术。

发明内容

本发明提出了一种基于Hadoop的地震偏移成像作业续航方法及系统，其能够对一个Mapper任务内的子成像空间偏移计算进行记录级断点保护，运行过程中，可以从系统软硬件故障导致的计算断点恢复作业和继续计算，作业续航的计算结果与作业正常结束的结果无差异，且用时相当。