[发明专利]神经网络训练装置及相关产品

说明书

本披露提供一种神经网络训练装置及相关产品，所述训练装置包括：X个神经网络芯片，所述X个神经网络芯片之间连接，所述X的取值范围为大于或等于2的整数；所述X个神经网络芯片中的Y个神经网络芯片用于接收神经网络训练数据执行训练运算得到Y个权值梯度，所述Y≤X；所述X个神经网络芯片中的Z个神经网络芯片用于接收所述Y个神经网络芯片发送的权值梯度，并根据预先策略将所述Y个权值梯度整合成所述训练的最终权值梯度，所述Z≤X。本披露提供的技术方案具有训练速度快，耗时短的优点。

技术领域

本披露涉及神经网络领域，尤其涉及一种神经网络训练装置及相关产品。

背景技术

人工神经网络(Artificial Neural Network，即ANN)，是20世纪80年代以来人工智能领域兴起的研究热点。它从信息处理角度对人脑神经元网络进行抽象，建立某种简单模型，按不同的连接方式组成不同的网络。在工程与学术界也常直接简称为神经网络或类神经网络。神经网络是一种运算模型，由大量的节点(或称神经元)之间相互联接构成。

现有的神经网络的运算基于CPU(Central Processing Unit，中央处理器)或GPU(英文：Graphics Processing Unit，图形处理器)来实现神经网络的运算，单个训练设备训练速度慢，耗时久。

发明内容

本披露实施例提供了一种神经网络训练装置及相关产品，可提升训练装置的训练速度，提高效率。

第一方面，提供一种神经网络训练装置，所述训练装置包括：X个神经网络芯片，所述X个神经网络芯片包括：主神经网络芯片和(X-1)个从神经网络芯片，所述主神经网络芯片与(X-1) 个从神经网络芯片连接；所述X的取值范围为大于或等于3的整数；

所述主神经网络芯片，用于接收并分发神经网络训练数据；

所述从神经网络芯片，用于将接收到的训练数据执行神经网络训练得到权值梯度，并将权值梯度发送给所述主神经网络芯片；

所述主神经网络芯片，用于接收(X-1)个从神经网络芯片发送的(X-1)个权值梯度，根据预先策略将所述(X-1)个权值梯度整合成所述训练的最终权值梯度。

第二方面，提供一种神经网络运算装置，所述神经网络运算装置包括一个或多个第一方面提供的装置。

第三方面，提供一种组合处理装置，所述组合处理装置包括：第二方面提供的神经网络运算装置、通用互联接口和通用处理装置；

所述神经网络运算装置通过所述通用互联接口与所述通用处理装置连接。

第四方面，提供一种芯片，所述芯片集成第一方面的装置、第二方面的装置或第三方面的装置。

第五方面，提供一种电子设备，所述电子设备包括第四方面的芯片。

第六方面，提供一种神经网络的运算方法，所述方法应用在第一方面训练装置内，所述训练装置用于执行神经网络的运算。

可以看出，通过本披露实施例，多个从芯片接收主芯片下发的训练数据，并行的进行神经网络训练得到各自的权值梯度，主芯片整合从设备发送的权值梯度，得到最终的权值梯度，提高了训练速度和精度，节省了训练时间。

附图说明

图1a是一种神经网络训练装置示意图。

图1b是另一种神经网络训练装置示意图。

图1c是一种集成电路芯片装置结构示意图。

图1d是另一种集成电路芯片装置结构示意图。

图1e是一种基础处理电路的结构示意图。

图1f是一种主处理电路的结构示意图。