[发明专利]一种基于IOzone模拟气象平台应用的数据读写测试方法

说明书

技术领域

本发明涉及计算机技术领域，具体是一种基于IOzone模拟气象平台应用的数据读写测试方法。

背景技术

目前，中国绝大部分气象局，如中国气象局、北京市气象局等，对于数值天气预报普遍采用MM5、WRF预报模型。此外，一些气象局还采用一些自己研发的辅助预报模型，比如中国气象局，其还采用其自主研发的GRAPES全球预报模型等。

但是，无论气象局采用哪种气象预报模型（下称“气象平台”），其对应的计算量都非常大，中间产生的临时数据对存储（即数据的读写）的性能要求都很高。

现有技术中，往往通过实际搭建气象应用环境，并在该搭建的环境下部署不同的气象应用软件，之后（通过实际部署气象应用软件）完成对气象平台中数据存储性能的评估。测试环境部署繁琐，测试周期长。此为现有技术的不足之处。

发明内容

本发明所要解决的技术问题是，针对现有技术的不足，提供一种基于IOzone模拟气象平台应用的数据读写测试方法，用于简化测试环境的部署，缩短测试周期。

为解决上述技术问题，本发明提供了一种基于IOzone模拟气象平台应用的数据读写测试方法，包括：

步骤A、在气象平台部署高性能文件系统；

步骤B、在气象平台创建一组测试文件；

步骤C、在气象平台安装IOzone，并基于该安装的IOzone以及上述步骤B中所创建的各测试文件，建立步骤A中所部署的高性能文件系统的数据读写模型；

步骤D、依据步骤C中建立的数据读写模型，配置上述IOzone支持的进程数及上述IOzone读写数据块的大小；

步骤E、基于步骤D中所作的配置，编写自动化测试脚本，以调用步骤C中所建立的数据读写模型，对气象平台的数据读写性能进行测试。

其中，上述步骤C中建立的数据读写模型包括单流数据读写模型。

其中，上述步骤C中建立的数据读写模型还包括多流数据读写模型。

其中，所述单流数据读写模型的实现方法包括步骤：

s1、从所述气象平台的各计算节点中选出一组计算节点；

s2、遍历上述步骤s1中选出的各计算节点，分别采用单进程对当前遍历出的各相应计算节点进行数据读写性能测试。

进一步地，所述步骤s1基于上述步骤A中所部署的高性能文件系统的IO通路的长短进行相应计算节点的选择，且该步骤s1中选出的各相应的计算节点包括：IO通路最长的计算节点、IO通路长度居中的计算节点，以及IO通路最短的计算节点。

进一步地，上述步骤s2中进行的数据读写性能测试包括以下读写操作：Write，Re-write，Read，Re-Read，Random Read，Random Write，Random Mix，Backwards Read，Record Rewrite，Strided Read，Fwrite，Frewrite，Fread，Freread，Write with Mmap，Rewrite with Mmap，Reader with mmap，Re-reader with mmap，Writer Posix Async I/O，Re-writer Posix Async I/O，Reader Posix Async I/O，Re-reader Posix Async I/O。

其中，所述多流数据读写模型的实现方法包括步骤：

步骤p1、分别为上述气象平台的各计算节点设置多进程；

步骤p2、控制上述气象平台的各计算节点分别依据预先设定的读写操作，通过并发运行步骤p1中为其各自设置的相应多进程，进行上述气象平台的数据读写测试。

其中，步骤p1中为所述的各计算节点设置的多进程包括：64进程、128进程、256进程和512 进程。

其中，上述步骤p2中所述的预先设定的读写操作包括：Write、Re-write、Read和Re-read。

其中，所述的高性能文件系统为Lustre文件系统、gpfsFS文件系统、HDFS文件系统、Ceph文件系统、GridFS文件系统、mogileFS文件系统、TFS文件系统、FastDFS文件系统中任意一种文件系统。

与现有技术相比，本发明的优点在于：

本发明基于IOzone模拟气象应用中对数据存储的读写，不需要实际安装并运行气象应用软件，即可完成对气象平台数据存储性能的评估测试，环境部署简单、测试周期短。