[发明专利]神经网络的功能子网络的同时训练

说明书

训练了一种人工神经网络[200]，所述人工神经网络[200]包括实现已知功能的第一子网络[311‑315]和实现未知功能的第二子网络[310]。基于对应的已知训练数据集单独地且并行地训练所述第一子网络以确定定义所述第一子网络的第一参数值。在处理系统中的多个处理元件上执行所述第一子网络。将来自网络训练数据集的输入值[320,325]提供给包括所述受过训练的第一子网络的所述人工神经网络。通过将由所述人工神经网络产生的输出值[335]与所述网络训练数据集的标记后输出值比较来生成误差值。通过反向传播所述误差值来修改定义所述第二子网络的第二参数值而不修改所述第一参数值来训练第二子网络。

背景技术

深度神经网络(DNN)是一类能够学习如何执行诸如图像识别、自然语言处理和玩游戏的任务的人工神经网络(ANN)。DNN架构包括实现将输入体积(诸如，数字图像)转化为输出体积(诸如，在数字图像中检测到的标记后特征)的功能的层叠堆。例如，DNN中的层可分为代表卷积神经网络(CNN)的卷积层、池化层和全连接层。可交叠多组卷积层、池化层和全连接层以形成完整的DNN。例如，DNN可包括接收输入并将输出提供给一组池化层的一组卷积层，所述池化层将输出提供给另一组卷积层。第二组卷积层将输出提供给另一组池化层，所述池化层将输出提供给一组或多组全连接层，所述全连接层生成输出体积。由DNN中的层实现的功能是显式的(即，已知或预定的)或隐藏的(即，未知的)。CNN是对含有多个隐藏层的任务执行深度学习的深度神经网络(DNN)。例如，用于实现计算机视觉的DNN包括视觉流的分级结构中的显式功能(诸如，方向映射)和多个隐藏功能。

附图说明

通过参考附图，可以更好地理解本公开，并且它的许多特征和优点对本领域技术人员来说变得显而易见。在不同附图中使用的相同附图标号指示相似或相同的项目。

图1是根据一些实施方案的处理系统的框图。

图2是示出根据一些实施方案的包括卷积层并且被训练以执行诸如图像识别的任务的深度神经网络(DNN)的框图。

图3是示出根据一些实施方案的训练在人工神经网络的实例内实现未知功能的子网络的框图，所述人工神经网络还包括实现已知功能的子网络。

图4是示出根据一些实施方案的被执行以执行质量保证步骤的图3所示CNN的实例的框图。

图5是示出根据一些实施方案的训练在人工神经网络的切割部分内实现未知功能的子网络的框图，所述人工神经网络还包括实现已知功能的子网络。

图6是根据一些实施方案的用于训练包括第一子网络的人工神经网络(诸如，CNN或DNN)的方法的流程图。

图7根据一些实施方案的用于训练在人工神经网络(诸如，CNN或DNN)内实现未知功能的子网络的方法的流程图，所述人工神经网络包括实现已知和未知的功能的子网络。

图8是根据一些实施方案的用于基于先前训练的子网络来生成和训练神经网络的方法的流程图。

具体实施方式