[发明专利]基于申威芯片架构并行文件读取的数据预处理方法有效
| 申请号： | 201810893877.6 | 申请日： | 2018-08-07 |
| 公开（公告）号： | CN109271344B | 公开（公告）日： | 2020-08-04 |
| 发明（设计）人： | 陈建海;周宇;张淼;何钦铭;沈钦仙 | 申请（专利权）人： | 浙江大学 |
| 主分类号： | G06F16/13 | 分类号： | G06F16/13;G06F16/16;G06F9/50 |
| 代理公司： | 杭州天勤知识产权代理有限公司 33224 | 代理人： | 胡红娟 |
| 地址： | 310013 浙江*** | 国省代码： | 浙江;33 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种基于申威芯片架构并行文件读取的数据预处理方法，包括以下步骤：(1)将内存运行模式设置为全片共享模式；(2)预处理进程读取数据文件的元数据信息，根据所述的元数据信息对计算进程进行分组；(3)预处理进程根据计算进程分组信息，建立对应的MPI模型，调用MPI‑IO并行读取函数读取数据文件；(4)对预处理进程所读取的数据进行维度转化，使对应计算进程组中每个计算进程所对应的数据块连续排布；将维度转化后的数据写回到对应的计算进程组对应的数据文件中，并建立对应的元数据文件。本发明的数据预处理方法，可大大提高大文件的读取效率。 | ||
| 搜索关键词： | 基于 芯片 架构 并行 文件 读取 数据 预处理 方法 | ||
【主权项】：
1.一种基于申威芯片架构并行文件读取的数据预处理方法，其特征在于，包括以下步骤：(1)将内存运行模式设置为全片共享模式；(2)预处理进程读取数据文件的元数据信息，根据所述的元数据信息对计算进程进行分组；(3)预处理进程根据计算进程分组信息，建立对应的MPI模型，调用MPI‑IO并行读取函数读取数据文件；(4)对预处理进程所读取的数据进行维度转化，使对应计算进程组中每个计算进程所对应的数据块连续排布；将维度转化后的数据写回到对应的计算进程组对应的数据文件中，并建立对应的元数据文件。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于浙江大学，未经浙江大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201810893877.6/，转载请声明来源钻瓜专利网。
