[发明专利]用于创建神经网络的方法、装置和计算机程序

说明书

本发明涉及一种用于创建神经网络（40）的方法（20），该神经网络包括与解码器连接的编码器。使用优化方法DARTS，其中将另一单元类型添加到DARTS的已知的单元类型。本发明还涉及一种用于实施该方法（30）的计算机程序和装置以及一种在其上存储有该计算机程序的机器可读存储元件。

技术领域

本发明涉及一种用于优化神经网络的架构和参数化的方法。本发明同样涉及分别被设立为实施该方法的一种装置和一种计算机程序。

背景技术

Liu, Hanxiao、Karen Simonyan和Yiming Yang：“DARTS: Differentiablearchitecture search.”arXiv preprint arXiv:1806.09055（2018年）公开了一种用于借助于梯度下降法来优化神经网络的架构的方法。

Falkner、Stefan、Aaron Klein和Frank Hutter：“BOHB: Robust and efficienthyperparameter optimization at scale.”arXiv preprint arXiv:1807.01774（2018年）公开了一种用于借助于贝叶斯优化与超带优化算法的组合来优化神经网络的超参数的方法。

Olaf Ronneberger、Philipp Fischer和Thomas Brox：“U-Net: ConvolutionalNetworks for Biomedical Image Segmentation.”arXiv preprint arXiv: 1505.04597（2018年）公开了具有卷积层和跨接连接（英文skip connection）的神经网络的架构，该神经网络称为U-Net。

本发明的优点

目前，优化包括编码器和解码器的神经网络的架构极其复杂甚至不可能。因为已知的方法并不能够在合理时间内仅使用一个图形卡（GPU）来执行该复杂优化。因而，该神经网络的架构要么由专家设计要么只有小型神经网络自动化地被优化。然而，值得期望的是：也优化具有编码器和解码器的复杂神经网络的架构，使得这些复杂神经网络也可以执行要求更高的任务，诸如根据两个立体图像对对象的深度确定或者对图像的语义分割。同样无法优化上述U-Net的架构。

与此相对应地，具有独立权利要求1的特征的方法具有如下优点：该方法首次能够实现：计算机资源高效地优化具有编码器和解码器以及可能具有跨接连接的复杂神经网络的架构。

发明内容

在本发明的第一方面中，提出了一种按照独立权利要求1所述的用于创建神经网络的方法、尤其是计算机实现的方法，该神经网络包括与解码器连接的编码器。