[发明专利]用于引导架构演进的连接权重学习

说明书

用于确定用于执行视频处理神经网络任务的神经网络的一个或多个神经网络架构的方法、系统和装置，包括编码在计算机存储介质上的计算机程序。在一个方面，方法包括：在多次迭代中的每一次：从神经网络架构集合中选择父神经网络架构；训练具有父神经网络架构的神经网络以执行视频处理神经网络任务，包括确定父神经网络架构的连接权重参数的训练值；至少部分地基于父神经网络架构的连接权重参数的训练值生成新神经网络架构；并且将该新神经网络架构添加到神经网络架构集合中。

相关申请的交叉引用

本申请是国际申请并要求2019年5月23日提交的美国申请No.62/852,217的权益。上述申请的公开内容通过引用整体并入本文。

背景技术

本说明书涉及使用机器学习模型来处理数据。

机器学习模型接收输入并基于接收到的输入来生成输出，例如，所预测的输出。一些机器学习模型是参数模型，并且基于接收到的输入和模型参数的值来生成输出。

一些机器学习模型是深度模型，其采用多层模型为接收到的输入生成输出。例如，深度神经网络是一种深度机器学习模型，其包括输出层和一个或多个隐藏层，每个隐藏层对接收到的输入应用非线性变换以生成输出。

发明内容

本说明书描述了一种用于确定执行机器学习任务的神经网络架构的系统，该系统在一个或多个位置中的一个或多个计算机上实现为计算机程序。

根据第一方面，提供了一种由一个或多个数据处理装置执行的用于确定用于执行视频处理神经网络任务的神经网络的神经网络架构的方法，该方法包括：维护定义神经网络架构集合的数据，其中对于每个神经网络架构：神经网络架构包括多个块，其中每个块是空间-时间卷积块，所述空间-时间卷积块包括一个或多个神经网络层，其被配置为处理块输入以生成块输出；以及对于一个或多个给定块中的每一个：(i)给定块的块输入包括来自多个其他块中的每一个的块输出，(ii)给定块具有对应于多个其他块中的每一个的相应连接权重参数，(iii)处理块输入包括使用对应于所述其他块的连接权重参数组合其他块输出；在多次迭代中的每一次：从神经网络架构集合中选择父神经网络架构；训练具有该父神经网络架构的神经网络以执行视频处理神经网络任务，包括确定父神经网络架构的连接权重参数的训练值；至少部分地基于父神经网络架构的连接权重参数的训练值生成新神经网络架构；以及将新神经网络架构添加到神经网络架构集合中；以及在多次迭代的最终迭代之后，基于视频处理神经网络任务上的最终神经网络架构的性能度量从神经网络架构集合中选择最终神经网络架构。

在一些实施方式中，每个神经网络架构被配置为处理包括(i)多个视频帧，和/或(ii)对应于多个视频帧的多个光流帧的输入。

在一些实施方式中，每个块在相应的时间分辨率处理块输入以生成具有相应数量的通道的块输出。

在一些实施方式中，每个块包括一个或多个扩张的时间卷积层，该时间卷积层具有对应于块的时间分辨率的时间扩张率。

在一些实施方式中，每个神经网络架构包括具有不同时间分辨率的块。

在一些实施方式中，每个块包括一个或多个残差模块。

在一些实施方式中，使用对应于其他块的连接权重参数组合所述其他块输出包括：对于每个其他块输出，通过对应于其他块的连接权重参数对其他块输出进行缩放；以及通过对所缩放的其他块输出求和来生成组合输入。

在一些实施方式中，处理块输入还包括根据多个块参数处理所述组合输入以生成所述块输出。

在一些实施方式中，至少部分地基于父神经网络架构的连接权重参数的训练值生成新神经网络架构包括：至少部分地基于所述父神经网络架构的连接权重参数的训练值来确定新神经网络架构中的哪些块应该从新神经网络架构中的哪些其他块接收块输出。