[发明专利]一种生成神经网络的方法、装置、计算机设备和存储介质

说明书

本公开提供了一种生成神经网络的方法、装置、计算机设备和存储介质，其中，该方法包括：确定预设网络结构单元对应的第一搜索空间，下采样处理单元对应的第二搜索空间以及神经网络结构的尺寸信息对应的第三搜索空间，预设网络结构单元和下采样处理单元用于构建神经网络结构；基于第一搜索空间、第二搜索空间和第三搜索空间，以及预设的深度学习任务对应的训练数据集，进行网络结构搜索，得出与深度学习任务的期望结果对应的目标神经网络结构；基于目标神经网络结构生成用于处理深度学习任务的目标神经网络。

技术领域

本公开涉及深度学习技术领域，具体而言，涉及一种生成神经网络的方法、装置、计算机设备和存储介质。

背景技术

针对深度学习任务，比如图像分类任务、图像检测任务或图像分割任务等，往往需要不同种类的网络结构联合构建深度神经网络来执行。每种网络结构都有很多种选择，不同种类的网络结构联合会产生不同结构的神经网络，这些神经网络在相应的深度学习任务中的性能表现取决于网络结构的优劣。针对不同网络结构之间的联合，现今主要依赖手动搭建神经网络，依赖人工经验来搭建，这样搭建完成的神经网络经过训练后在深度学习任务中的精度、资源消耗等性能表现有待提升。

发明内容

本公开实施例至少提供一种生成神经网络的方法、装置、计算机设备和存储介质。

第一方面，本公开实施例提供了一种生成神经网络的方法，包括：

确定预设网络结构单元对应的第一搜索空间，下采样处理单元对应的第二搜索空间以及神经网络结构的尺寸信息对应的第三搜索空间，所述预设网络结构单元和所述下采样处理单元用于构建神经网络结构；

基于所述第一搜索空间、所述第二搜索空间和所述第三搜索空间，以及预设的深度学习任务对应的训练数据集，进行网络结构搜索，得出与所述深度学习任务的期望结果对应的目标神经网络结构；

基于所述目标神经网络结构生成用于处理深度学习任务的目标神经网络。

本方面，预先构建有用于进行神经网路结构搜索的搜索空间，一个搜索空间中预先有多种网络或者多种尺寸信息，因此本方面构建的多个搜索空间提供了一个较大的搜索空间，从第一搜索空间中搜索到与预设网络结构单元对应的网络结构，从第二搜索空间搜索到与下采样处理单元对应的网络结构，以及从第三搜索空间搜索到神经网络结构的尺寸信息，从较大的搜索空间中进行网络结构搜索，能够得到多种不同结构的神经网络结构，提高了搜索得到的神经网络结构的多样性，从而有利于提高最终得到的目标神经网络的对深度学习任务的处理性能。进一步地，基于上述搜索到的网络结构以及尺寸信息，构建神经网络结构，再结合预设的深度学习任务对应的训练数据集和深度学习任务的期望结果，能够得出与深度学习任务的期望结果对应的目标神经网络结构，即能够到精度满足期望的目标神经网络。

一种可选的实施方式中，所述第一搜索空间包括卷积结构单元、基于自注意力机制的编码-解码结构单元和多层感知器MLP结构单元中的至少两个。

一种可选的实施方式中，所述第二搜索空间包括局部下采样单元，全局下采样单元和全局-局部下采样单元，其中，所述局部下采样单元用于采样局部上下文信息，所述全局下采样单元用于采样全局上下文信息，所述全局-局部下采样单元用于采样全局上下文信息和局部上下文信息。

一种可选的实施方式中，所述局部下采样单元包括用于执行卷积操作的第一卷积算子；

所述全局下采样单元包括基于自注意力机制的第一处理单元和用于对输入所述第一处理单元的数据进行卷积操作的第二卷积算子；

所述全局-局部下采样单元包括基于自注意力机制的第二处理单元和用于对输入所述第二处理单元的数据进行卷积操作的第三卷积算子。

一种可选的实施方式中，所述基于所述第一搜索空间、所述第二搜索空间和所述第三搜索空间，以及预设的深度学习任务对应的训练数据集，进行网络结构搜索，包括：