[发明专利]分布式计算系统,分布式计算系统中数据传输方法和装置有效
申请号: | 201710769632.8 | 申请日: | 2017-08-31 |
公开(公告)号: | CN109426574B | 公开(公告)日: | 2022-04-05 |
发明(设计)人: | 林健;夏命榛 | 申请(专利权)人: | 华为技术有限公司 |
主分类号: | G06F9/54 | 分类号: | G06F9/54 |
代理公司: | 广州三环专利商标代理有限公司 44202 | 代理人: | 熊永强;李稷芳 |
地址: | 518129 广东*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 分布式 计算 系统 数据传输 方法 装置 | ||
1.一种分布式计算系统,所述分布式计算系统包括第一计算节点和第二计算节点,其特征在于,所述第一计算节点上的第一图数据结构保存有第一数据流图中的第一数据流图参数的名称、大小和通信对端标识,其中所述第一数据流图参数为所述第一数据流图的一连接边所承载的参数;所述第二计算节点上的第二图数据结构保存有第二数据流图中的所述第一数据流图参数的名称、大小和通信对端标识;所述第一数据流图中的第一数据流图参数的通信对端标识对应于所述第二计算节点,所述第二数据流图中的所述第一数据流图参数的通信对端标识对应于所述第一计算节点;
所述第一计算节点用于,根据所述第一图数据结构中的第一数据流图参数的名称、大小和通信对端标识,利用第一接口参数生成算法生成第一三元组,所述第一三元组包括消息标记、消息大小和目的进程序列号,其中,所述消息标记对应于所述第一数据流图参数的名称,所述消息大小对应于所述第一数据流图参数的大小,所述目的进程序列号对应于所述第二计算节点中接收所述第一数据流图参数的进程;
所述第二计算节点用于,根据所述第二图数据结构中的第一数据流图参数的名称、大小和通信对端标识,利用第二接口参数生成算法生成第二三元组,所述第二接口参数生成算法与所述第一接口参数生成算法相同,所述第二三元组包括所述消息标记、所述消息大小和源进程序列号,其中,所述源进程序列号对应于所述第一计算节点中发送所述第一数据流图参数的进程;
所述第一计算节点用于,以所述第一三元组作为接口参数,调用消息传递接口MPI发送原语向所述第二计算节点发送所述第一数据流图参数;
所述第二计算节点用于,根据所述第二三元组,调用MPI接收原语处理所述第一数据流图参数。
2.根据权利要求1所述的系统,其特征在于,在以所述第一三元组作为接口参数,调用消息传递接口MPI发送原语向所述第二计算节点发送所述第一数据流图参数的方面,所述第一计算节点用于以所述第一三元组作为接口参数,通过消息传递接口MPI发送原语从所述第一计算节点的主机内存中读取所述第一数据流图参数,以向所述第二计算节点发送所述第一数据流图参数。
3.根据权利要求2所述的系统,其特征在于,所述第一计算节点还保存有所述第一数据流图参数所在的存储设备的信息,第一数据流图参数所述第一计算节点还用于在所述存储设备的信息指示为其他存储设备的情况下,将所述第一数据流图参数从所述其他存储设备复制到所述第一计算节点的主机内存,所述其他存储设备为所述第一计算节点中除主机内存外的内存。
4.根据权利要求1到3中任一项所述的系统,其特征在于,所述第一接口参数生成算法包括第一算法、第二算法和第三算法,在根据所述第一图数据结构中的第一数据流图参数的名称、大小和通信对端标识,利用第一接口参数生成算法生成第一三元组第一数据流图参数的方面,所述第一计算节点用于:
根据所述第一图数据结构中的第一数据流图参数的名称和所述第一算法,确定所述第一三元组中的消息标记,根据所述第一图数据结构中的第一数据流图参数的大小和所述第二算法,确定所述第一三元组中的消息大小,以及根据第一图数据结构中的第一数据流图参数的通信对端标识和所述第三算法,确定所述第一三元组中的目的进程序列号;
相应的,在根据所述第二图数据结构中的第一数据流图参数的名称、大小和通信对端标识,利用第二接口参数生成算法生成第二三元组第一数据流图参数的方面,所述第二计算节点用于:
根据所述第二图数据结构中的第一数据流图参数的名称和所述第二接口参数生成算法中的第一算法,确定所述第二三元组中的消息标记;根据所述第二图数据结构中的第一数据流图参数的大小和所述第二接口参数生成算法中的第二算法,确定所述第二三元组中的消息大小;以及根据第二图数据结构中的第一数据流图参数的通信对端标识和所述第二接口参数生成算法中的第三算法,确定所述第二三元组中的源进程序列号。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于华为技术有限公司,未经华为技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710769632.8/1.html,转载请声明来源钻瓜专利网。