[发明专利]计算神经网络的方法、装置、板卡及计算机可读存储介质

说明书

本发明涉及计算神经网络的方法、装置、板卡及计算机可读存储介质，其中本发明的计算装置包括在集成电路装置中，该集成电路装置包括通用互联接口和其他处理装置。计算装置与其他处理装置进行交互，共同完成用户指定的计算操作。集成电路装置还可以包括存储装置，存储装置分别与计算装置和其他处理装置连接，用于计算装置和其他处理装置的数据存储。

技术领域

本发明一般地涉及神经网络领域。更具体地，本发明涉及计算神经网络的方法、装置、板卡及计算机可读存储介质。

背景技术

近年来，神经网络算法取得重大的突破，引领人工智能的发展热潮。由于人工神经网络算法需要大量样本数据进行训练，才能建立输入数据和输出数据之间的映射关系。传统处理器架构，例如x86或ARM，算力不足，无法支撑神经网络大规模并行计算需求。

ASIC是一种为专门目的而设计的集成电路，虽然缺乏弹性，但具备处理速度快的优势，广受人工智能开发商的青睐。即便如此，在进行神经网络计算时，仍需要将各种参数、指令、输出入等数据在主机内存和设备内存间反复读取存储，耗费了大量的资源。

因此如何在神经网络中简化数据搬运的流程，便成为本领域急需解决的问题。

发明内容

为了至少部分地解决背景技术中提到的技术问题，本发明的方案提供了计算神经网络的方法、装置、板卡及计算机可读存储介质。

在一个方面中，本发明揭露一种基于神经网络执行批量计算的方法，包括：定义所述神经网络的数据节点与操作节点的连接关系，所述数据节点绑定常量数据；根据所述连接关系，编译所述神经网络获得硬件指令；根据所述常量数据，批量计算人工神经网络。

在另一个方面，本发明揭露一种基于神经网络执行批量计算的计算装置，包括：处理器、设备内存、设备。处理器用以定义所述神经网络的数据节点与操作节点的连接关系，所述数据节点绑定常量数据；根据所述连接关系，编译所述神经网络获得硬件指令。设备内存用以存储所述常量数据。设备，用以根据所述常量数据，批量计算人工神经网络。

在另一个方面，本发明揭露一种设备内存的指令寻址方法，所述设备内存包括段基址区及多个存放空间，所述方法包括：接收寻址指令，所述寻址指令包括数据名称及块内偏移量；根据所述数据名称，识别所述的同类数据段；从所述基址区读取所述同类数据段的段基址；从所述同类数据段读取所述数据名称的段内偏移量；根据所述段基址、所述段内偏移量及所述块内偏移量，获得目标地址；以及读取所述目标地址里的所述数据。根据所述数据，执行人工神经网络计算。

在另一个方面，本发明揭露一种计算装置，包括：处理器、设备内存、设备。设备内存包括段基址区及多个存放空间。处理器用以：接收寻址指令，所述寻址指令包括数据名称及块内偏移量；根据所述数据名称，识别所述的同类数据段；从所述段基址区读取所述同类数据段的段基址；从所述段同类数据段读取所述数据名称的段内偏移量；根据所述段基址、所述段内偏移量及所述块内偏移量，获得目标地址；读取所述目标地址里的数据。设备用以在执行人工神经网络计算时，输入或输出所述数据。

在另一个方面，本发明揭露一种在人工神经网络计算中绑定多个常量数据的方法，包括：重排序所述多个常量数据；根据所述多个常量数据的数据量，计算同类数据段的段内偏移量；在数据包中回填所述段内偏移量；以及发送所述数据包至设备。其中，所述设备读取所述数据包里的所述多个常量数据，以执行批量的人工神经网络计算。

在另一个方面，本发明揭露一种在人工神经网络计算中组成数据包的方法，包括：在所述数据包中建立标签区，所述标签区记录所述数据包的总数据量；在所述数据包中建立常量数据区，所述常量数据区记录指令及多个常量数据；其中，设备读取所述数据包里的所述指令及常量数据，以执行批量的人工神经网络计算。