[发明专利]一种基于随机延迟缓解I/O瓶颈的大规模并行系统检查点数据写入方法

摘要

本发明公开了一种基于随机延时缓解I/O瓶颈的大规模并行系统检查点数据写入方法，该方法将检查点数据暂时缓存在内存之中，使checkpoint主流程可以立即返回，实现写入过程的分离，从而缩短了检查点数据操作过程中全局停止的时间。本发明使用随机延迟checkpoint文件处理方法确定预设延迟写入时间，将写入操作在时间上进行分散，从而减少同一时刻I/O写入峰值，达到缓解I/O瓶颈的目的。在大规模并行系统执行I/O操作之前，周期性探测大规模并行系统的关联数据信息，若影响到应用程序的运行，则放弃延时操作立即执行写入操作，避免长时间占用共享资源影响应用程序的正常运行；反之，则继续按确定的延时写入时间写入。本发明可以使应用在不同系统平台上相对于传统集中式写入模式对I/O子系统造成的压力减小，获得更高的吞吐率和更短的全局阻塞时间。

主权项

1.一种基于随机延迟缓解I/O瓶颈的大规模并行系统检查点数据写入方法，其特征在于具体执行下列步骤：步骤A，在写入模块(20)完成关联数据信息缓存之后，获取当前时间作为时间区段的起始时间点t启；步骤B，计算运行节点集BP＝{bpb,bpb+1,…，bpc}中的各个节点使用随机延迟checkpoint文件处理方法得到进行时间区段的结束时间点t止；步骤C，在确定了写入时间区段[t启,t止]之后，记录下计算运行节点集BP＝{bpb,bpb+1,…，bpc}中的各个节点存在的一个独立的随机值；步骤D，在确定的随机值下，为计算运行节点集BP＝{bpb,bpb+1,…，bpc}中的各个节点确定一个在时间区段[t启,t止]中的相对时间位置；步骤E，在确定的相对时间位置下，为计算运行节点集BP＝{bpb,bpb+1,…，bpc}中的各个节点确定一个预定的延迟写入时间；将预定延迟写入时间按照时间先后均匀分布到整个写入时间区段[t启,t止]中去，得到时间数轴；步骤F，判断当前程序运行时间是否到达了预定延迟写入时间，是，则执行步骤J；否，执行步骤G；步骤G，记录同一周期下的计算运行节点集BP＝{bpb,bpb+1,…，bpc}中的各个节点的反馈信息；步骤H，通过反馈信息来获得评价参数并将与预先设定的阈值K_阈值进行比较，若则执行步骤J；若则执行步骤I；步骤I，当满足时，说明本地运行环境允许继续延时，转到步骤F；步骤J，将缓存的关联数据信息写入到外部存储系统(40)，本次延迟检查点数据写入操作结束。