[发明专利]神经网络的切片方法、装置及电子设备

说明书

本申请适用于网络处理技术领域，提供了一种神经网络的切片方法、装置及电子设备，该方法包括：在神经网络中添加虚拟节点；根据虚拟节点的输出维度的大小、神经网络中的每个节点在运行时所需要的存储空间的大小和时长、以及内部存储器的存储空间的大小，确定神经网络的目标切片数量；根据神经网络的目标切片数量，以虚拟节点为根节点对神经网络中的每个节点的输出维度进行切片处理，得到切片后的神经网络。从而，本申请实现了对神经网络的切片处理，减少了访问外部存储器的次数，保证了神经网络处理数据的效率。

技术领域

本申请属于网络处理技术领域，尤其涉及一种神经网络的切片方法、装置及电子设备。

背景技术

神经网络(neural networks，NNs)是一种进行分布式并行信息处理的算法数学模型。神经网络在运行时所需要的存储空间通常较大，考虑到运行神经网络的芯片的内部存储器的存储空间较小，神经网络处理数据时通常需要先将数据存储在外部存储器，对数据处理时再从外部存储器搬移搬运到内部存储器，完成数据处理后将处理结果从内部存储器搬运到外部存储器。为了进一步降低神经网络在运行时所需要的内部存储器的存储空间，需要对神经网络先进行分割，得到多个网络子图，再对切分后的每个网络子图中的每个节点中的输出维度进行切片，得到切片后的神经网络。

相关技术中，对多输出网络子图进行切片的具体过程包括：将多输出神经网络子图中的每个末端节点分别与其他节点进行分割，得到多个单输出网络子图后，对每个单输出网络子图进行切片处理。

然而，采用上述切片技术对多输出神经网络子图进行切片后，对于多个输出的共用节点，在第一个单输出网络子图在处理数据时，需要把结果从内部存储器搬运到外部存储器，其后的单输出网络子图在处理数据时，都要从外部存储器搬移搬运数据到内部存储器，难以减少共用访问外部存储器的次数，使得神经网络处理数据的效率不高。

发明内容

本申请提供了一种神经网络的切片方法、装置及电子设备，可以减少访问外部存储器的次数，保证了神经网络处理数据的效率。

第一方面，本申请提供了一种神经网络的切片方法，包括：

在神经网络中添加虚拟节点，所述神经网络包括至少两个末端节点和至少一个分叉节点，所述虚拟节点与每个末端节点皆连接，所述虚拟节点用于将所述神经网络由多输出神经网络转换为多输入单输出神经网络；

根据所述虚拟节点的输出维度的大小、所述神经网络中的每个节点在运行时所需要的存储空间的大小和时长、以及内部存储器的存储空间的大小，确定所述神经网络的目标切片数量，每个节点用于表征所述神经网络中的一个独立计算单元，所述内部存储器为存储所述神经网络的存储器；

根据所述神经网络的目标切片数量，以所述虚拟节点为根节点对所述神经网络中的每个节点的输出维度进行切片处理，得到切片后的所述神经网络。

本申请提供的一种神经网络的切片方法，可使得神经网络由多输出神经网络转换为单输出神经网络，并在确定神经网络的目标切片数量后，对虚拟节点进行切片，使得其他节点也能通过调度原语跟随虚拟节点切片，从而可以实现对整个多输出神经网络的切片，提高了对神经网络的切片效率，通过切片减少了神经网络在运行时对内部存储器的占用。另外，整个流程中减少了访问外部存储器的次数，保证了神经网络处理数据的效率。

第二方面，本申请提供了一种神经网络的切片装置，该装置用于执行上述第一方面或第一方面的任一可能的实现方式中的神经网络的切片方法。具体地，该装置包括：

添加模块，用于在神经网络中添加虚拟节点，所述神经网络包括至少两个末端节点和至少一个分叉节点，所述虚拟节点与每个末端节点皆连接，所述虚拟节点用于将所述神经网络由多输出神经网络转换为多输入单输出神经网络；