[发明专利]防止缓存溢出的设备和方法

说明书

技术领域

本申请涉及一种防止缓存溢出的设备和方法，尤其涉及一种在UNIX或Linux系统中通过预测可能的缓存系统溢出将临时文件迁移到网络文件系统中来防止缓存溢出的设备和方法。

背景技术

在各类行业，计算机用于进行数据的处理和计算，而在许多情况下，用于处理和计算的数据量相当大。例如，在地球物理勘探中，需要在野外采集大量的原始资料，然后根据不同地区的地址特征，采用专业的处理软件对这些原始数据进行计算。由于处理的数据量大、计算量大，尤其在进行三维地震资料处理时，还会产生大量的中间数据。在UNIX或Linux系统环境下，通常使用指定的缓存文件系统以临时文件的形式存储这些中间数据，其中，单个临时文件一般为2～10GB大小。在实际资料处理过程中，往往会出现缓存溢出，导致作业运行失败。

目前用于避免本地缓冲区移除的方法大致包括两种。一种方法是将初始设置的文件系统挂载到空间足够大的网络文件系统，并且建立与网络文件系统的链接。这种方法存在的主要问题是由于网络文件系统的存取速度相对慢，所以整体作业的响应速度慢，并且作业调度系统的灵活性差。另一种方法是将整个临时文件压缩以降低使用的空间。但是，这种方法在临时文件快速增长的情况下仍然会导致缓存空间溢出。

因此，需要一种能够在不导致作业运行效率明显劣化的前提下有效地防止缓存溢出的解决方案。

发明内容

本发明的目的在于提供一种防止缓存溢出的设备和方法，在UNIX或Linux系统中，通过预测可能的缓存系统溢出将临时文件迁移到网络文件系统中来防止缓存溢出的设备和方法，由于迁移/挂载的不是整个文件系统，所以能够确保作业的运行不明显劣化。

根据本发明的一方面，提供一种防止缓存溢出的设备，包括：迁移判断模块，用于根据所述临时文件的大小，按照预定的算法计算本地缓冲区中剩余空间大小的阈值，计算当前本地缓冲区中实际的剩余空间大小，将剩余空间大小的阈值与实际的剩余空间大小进行比较，如果剩余空间大小的阈值大于实际的剩余空间大小，则确定需要进行临时文件迁移；文件迁移模块，将临时文件迁移到预定的目标目录下，并且在本地缓冲区的目录下建立到迁移的临时文件的软链接；缓存监控模块，监控应用作业对本地缓冲区中临时文件的操作，当检测到对本地缓冲区的临时文件进行写操作时，控制迁移判断模块确定是否需要进行临时文件迁移，如果确定需要进行临时文件迁移，则控制文件迁移模块进行临时文件迁移。

在所述设备上可运行UNIX或Linux系统，并且所述预定的目标目录优选为网络文件系统中的预定文件目录。

迁移判断模块可按照以下算式计算剩余空间大小的阈值Φ：Φ＝k×a，其中，a为单个临时文件的大小，k是加权系数，值为大于1的整数。

所述设备可根据系统I/O的速率确定k的值。

本地缓冲区中可有至少一个大小相等的临时文件，并且如果迁移判断模块确定剩余空间大小的阈值小于实际的剩余空间大小，则迁移判断模块基于剩余空间大小的阈值确定要迁移的临时文件的个数，并且根据先进先出的原则确定要迁移的文件。

优选地，所述设备还包括迁移记录模块，用于记录临时文件迁移的状态信息，所述状态信息包括迁移的临时文件的文件名、访问权限、目标位置以及使用状态。

优选地，所述设备还包括清理模块，用于当缓存监控模块确定在完成应用作业后，根据记录的状态信息清除目标目录下的临时文件。

根据本发明的另一方面，提供一种防止缓存溢出的方法，包括监控应用作业对本地缓冲区中临时文件的操作，当检测到对本地缓冲区的临时文件进行写操作时执行以下步骤：根据所述临时文件的大小，按照预定的算法计算本地缓冲区中剩余空间大小的阈值；计算当前本地缓冲区中实际的剩余空间大小；将剩余空间大小的阈值与实际的剩余空间大小进行比较；如果剩余空间大小的阈值大于实际的剩余空间大小，则将临时文件迁移到预定的目标目录下，并且在本地缓冲区的目录下建立到迁移的临时文件的软链接。

可在UNIX或Linux环境下执行所述方法，并且所述预定的目标目录优选为网络文件系统中的预定文件目录。

可按照以下算式计算剩余空间大小的阈值Φ：Φ＝k×a，其中，a为单个临时文件的大小，k是加权系数，值为大于1的整数。

可根据系统I/O的速率确定k的值。

本地缓冲区中可有至少一个大小相等的临时文件，并且如果剩余空间大小的阈值小于实际的剩余空间大小，则基于剩余空间大小的阈值确定要迁移的临时文件的个数，并且根据先进先出的原则确定要迁移的文件。