[发明专利]基于申威芯片架构并行文件读取的数据预处理方法有效
申请号: | 201810893877.6 | 申请日: | 2018-08-07 |
公开(公告)号: | CN109271344B | 公开(公告)日: | 2020-08-04 |
发明(设计)人: | 陈建海;周宇;张淼;何钦铭;沈钦仙 | 申请(专利权)人: | 浙江大学 |
主分类号: | G06F16/13 | 分类号: | G06F16/13;G06F16/16;G06F9/50 |
代理公司: | 杭州天勤知识产权代理有限公司 33224 | 代理人: | 胡红娟 |
地址: | 310013 浙江*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 芯片 架构 并行 文件 读取 数据 预处理 方法 | ||
本发明公开了一种基于申威芯片架构并行文件读取的数据预处理方法,包括以下步骤:(1)将内存运行模式设置为全片共享模式;(2)预处理进程读取数据文件的元数据信息,根据所述的元数据信息对计算进程进行分组;(3)预处理进程根据计算进程分组信息,建立对应的MPI模型,调用MPI‑IO并行读取函数读取数据文件;(4)对预处理进程所读取的数据进行维度转化,使对应计算进程组中每个计算进程所对应的数据块连续排布;将维度转化后的数据写回到对应的计算进程组对应的数据文件中,并建立对应的元数据文件。本发明的数据预处理方法,可大大提高大文件的读取效率。
技术领域
本发明涉及科学计算领域中的并行IO技术,尤其涉及一种基于申威芯片架构并行文件读取的数据预处理方法。
背景技术
科学及工程应用计算对计算资源的需求较大,且随着求解问题规模的不断增大,后摩尔时代的单机处理能力难以为继。为解决科学应用中所需计算力紧缺的问题,一种可行的方案是将科学应用移植到超算平台,借助超算平台提供大规模并行计算的优势。神威太湖之光是世界首台峰值运算速度超过10亿亿次量级的超级计算机,基于此平台并行优化的高性能应用已经连续两年夺得高性能应用领域最杰出的奖项——戈登贝尔奖。将科学计算应用程序移植到国产平台神威太湖之光,不仅可以利用神威太湖之光的超高计算能力,而且有助于建设国产超算平台的软件生态环境。
神威太湖之光采用的芯片为国产申威芯片,其内存架构为:一块申威处理器拥有32G内存,并提供两种内存运行模式,全片内存共享模式以及内存私有模式。在全片共享模式中,芯片中的四个核组共享32G内存;在私有模式中,每个核组拥有各自对应的8G内存。
移植到神威平台上的科学计算应用程序通常采用内存私有模式,即每个核组独占8G内存,这样的内存划分使得每个核组负载基本均衡,得以充分利用从核阵列的计算能力,从而提高计算效率。另外神威平台中的高速计算存储系统为自主研发的online1与online2,然而其目前并没有提供高层IO库,比如hdf5和NetCDF等,所以开发人员需要自主进行数据的切分与分发操作。
科学计算应用程序通常是对多维数学模型的求解,其热点通常为最近邻计算。最近邻计算中,每个计算节点对应的数据在文件中是不连续排布的,所以进程读取数据时,需要考虑数据在文件中的偏移量以及数据在文件中排布的特点。
神威平台对这种大规模并行计算中不连续数据文件的读取,主要有三种MPI(信息传递接口)方式:传统的MPI-1主从通信方式、MPI-2提出的MPI-IO协同方式以及改进的MPI-IO方式,其中:
(1)MPI-1主从通信方式:主进程读取数据文件,将所读取到的数据切分并通过调用MPI进程间通信函数分发给其他进程。这种主从通信方式实现较为繁琐,主从进程间通信次数频繁,且在通信过程中大部分进程处于闲置状态,导致资源的闲置,故这种方式适用于并行规模较小的情况。
(2)MPI-IO协同方式:MPI-2提出了一套并行I/O接口,实现了进程间并行读写文件的方法。此方法采用了文件视图,进程可以并行地对不连续的数据进行读取。相对于MPI-1的主从通信方式,此方式消除了进程间通信的开销,整体提高了进程读取数据的速率,故这种方式适用于并行规模较大的情况。然而随着并行规模的进一步扩大,MPI自身实现的缺陷,导致性能会急剧下降。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于浙江大学,未经浙江大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810893877.6/2.html,转载请声明来源钻瓜专利网。