[发明专利]神经网络的构建方法和装置

说明书

本申请提供了一种神经网络的构建方法，该方法包括根据参数生成网络生成目标神经网络的参数，该参数生成网络的输入包括该目标神经网络中神经元的相对标号的信息，该神经元的相对标号表示该神经元在第一神经网络层中的相对位置，该第一神经网络层为该目标神经网络中该神经元所在的层；根据该目标神经网络的参数构建所述目标神经网络。通过输入目标神经网络中神经元的相对标号的信息生成目标神经网络的参数，可以使得该参数生成网络对于构建不同维度的目标神经网络具有更好的泛化性。

技术领域

本申请涉及人工智能领域，并且更具体地，涉及一种神经网络的构建方法和装置。

背景技术

随着人工智能(artificial intelligence，AI)技术的快速发展，神经网络(例如，深度神经网络)近年来在图像、视频以及语音等多种媒体信号的处理与分析中取得了很大的成就。神经网络的参数一般通过梯度反向传播的方法进行更新训练，多个回合的梯度反向传播会导致巨大的计算和能耗开销。为了更好地构建神经网络，提出了通过参数生成网络来构建神经网络(目标神经网络)的方法，即通过参数生成网络生成目标神经网络的参数，简单来说，就是用一个网络(参数生成网络)来生成另外一个网络(目标神经网络)的参数。

在使用目标神经网络解决诸如无线通信系统中的资源分配问题时，可以使用参数生成网络来生成目标神经网络的参数，但是，由于无线通信系统的动态特性，参与资源分配的用户的数量会随着时间发生变化，例如，某些用户加入无线通信系统、另外一些用户离开无线通信系统。此时，如果采用固定规模的目标神经网络来解决问题，则需要针对各种可能的输入维度(例如，用户数)，训练多个规模不同的神经网络，增加了计算、存储的开销。

因此，如何在使用参数生成网络生成目标神经网络的参数时，兼顾神经网络处理任务的规模是一个亟待解决的问题。

发明内容

本申请提供一种神经网络的构建方法和装置，能够兼顾神经网络处理任务的规模，使得目标神经网络具有更好的泛化性。

第一方面，提供一种神经网络的构建方法，该方法包括，根据参数生成网络生成目标神经网络的参数，该参数生成网络的输入包括该目标神经网络中神经元的相对标号的信息，该神经元的相对标号表示该神经元在第一神经网络层中的相对位置，该第一神经网络层为该目标神经网络中该神经元所在的层；根据该目标神经网络的参数构建该目标神经网络。

根据本申请实施例提供的方法，参数生成网络通过输入目标神经网络中神经元的相对标号的信息生成目标神经网络的参数，可以使得该参数生成网络对于构建不同规模的目标神经网络具有更好的泛化性。

结合第一方面，在第一方面的某些实现方式中，获取N个该参数生成网络；其中，N由该目标神经网络的参数种类M与该目标神经网络的隐藏层数目L确定，M、L为正整数。

结合第一方面，在第一方面的某些实现方式中，该目标神经网络包括第二神经网络层和第三神经网络层，该第二神经网络层包括N₁个神经元，该第三神经网络层包括N₂个神经元，将该第二神经网络层中的第i个神经元的相对标号以及该第三神经网络层中的第j个神经元的相对标号输入第一参数生成网络，生成该第二神经网络层中第i个神经元和该第三神经网络层中第j个神经元之间连接的权重参数，该第一参数生成网络为该N个参数生成网络中用于生成该第二神经网络层和该第三神经网络层之间的权重参数的参数生成网络，其中，1≤i≤N₁，1≤j≤N₂。

结合第一方面，在第一方面的某些实现方式中，该目标神经网络包括第二神经网络层，该第二神经网络层包括N₁个神经元，将该第二神经网络层中的第i个神经元的相对标号输入第二参数生成网络，生成该第二神经网络层中第i个神经元上的偏置参数，该第二参数生成网络为该N个参数生成网络中用于生成该第二神经网络层的偏置参数的参数生成网络，其中，1≤i≤N₁。