[发明专利]通用图形处理系统、计算装置和分布式系统

说明书

公开通用图形处理系统、计算装置和分布式系统。该通用图形处理系统包括：计算单元；高速缓存；存储控制器，与高速缓存耦接；交换模块，包括多个接口，用于接收待访问目标的标识和第一待写入数据的源地址，根据待访问目标的标识和预存储的互联信息确定多个接口中的第一接口，根据源地址从高速缓存中读取所述第一待写入数据，并经由第一接口发送第一待写入数据；连接单元，用于耦接计算单元、存储控制器、高速缓存和交换模块。根据本公开实施例，集成了交换模块的通用图形处理系统不再是单纯的端设备，而是具有组网和交换能力，使得组网不再单纯依靠外置交换机和路由器。

技术领域

本公开涉及深度学习领域，尤其涉及一种通用图形处理系统、计算装置和分布式系统。

背景技术

深度学习是近十年来再度兴起的最受人瞩目的技术之一，在语音、图像、大数据、生物医药科技等领域取得了许多突破性进展和落地应用。为满足更多复杂的应用场景需求，深度学习模型的规模变得日益庞大。模型参数的增长使得模型训练对计算资源的要求难以被单一节点的计算资源所满足，因此对于复杂模型，通常会采用包含多个计算节点的分布式系统进行模型训练。

但是在分布式系统中，计算节点之间的互联通信开销以及计算节点内部器件之间的互联通信开销均会成为算力增长的瓶颈，因此算力并不会跟着节点数量的增长而线性增长。传统的PCIe，TCP/IP互联技术都被证明存在带宽，网络延迟，扩展规模等多方面的局限，不适用于此类分布式系统中。由此可见，互联通信问题已经成为分布式系统设计的核心难点问题之一。

发明内容

有鉴于此，本公开的目的是提供一种通用图形处理系统、计算装置和分布式系统，以解决现有技术存在的问题。

根据本公开实施例的第一方面，本公开实施例提供一种通用图形处理系统，包括：

计算单元；

高速缓存；

存储控制器，与所述高速缓存耦接；

交换模块，包括多个接口，用于接收待访问目标的标识和第一待写入数据的源地址，根据所述待访问目标的标识和预存储的互联信息确定所述多个接口中的第一接口，根据所述源地址从所述高速缓存中读取所述第一待写入数据，并经由所述第一接口发送所述第一待写入数据；

连接单元，用于耦接所述计算单元、所述存储控制器、所述高速缓存和所述交换模块。

在一些实施例中，所述待访问目标的标识和所述源地址来自所述计算单元或存储控制器提交的数据操作请求。

在一些实施例中，所述交换模块还包括：

传输引擎，用于按照指定的传输层/网络层通信协议编码所述第一待写入数据；

交换单元，用于根据所述待访问目标的标识和所述互联信息确定所述第一接口，按照以太网通信协议和物理层协议继续编码所述第一待写入数据，并经由所述第一接口发送编码后的数据。

在一些实施例中，所述传输引擎支持多个传输层/网络层通信协议，并且，所述传输引擎从所述多个传输层/网络层通信协议中选出所述指定的传输层/网络层通信协议编码所述第一待写入数据。

在一些实施例中，所述传输引擎包括：

RoCE协议处理模块，用于基于RoCEv2通信协议编码所述第一待写入数据；

专有协议处理模块，用于基于专用协议编码所述第一待写入数据。

在一些实施例中，所述RoCE协议处理模块包括TOE单元，所述TOE单元用于按照IP/TCP/UDP协议编码所述第一待写入数据。

在一些实施例中，所述RoCE协议处理模块包括IB单元，所述IB单元用于基于IB协议建立端对端的数据传输。