[发明专利]自回归视频生成神经网络

说明书

描述了一种用于生成视频的方法。该方法包括：生成包括多个帧的初始输出视频，帧中的每个具有多个通道；识别初始输出视频成为根据特定切片次序索引的通道切片的集合的分区，每个通道切片是来自通道堆叠的集合的通道堆叠的下采样；为通道堆叠集合中的每个通道堆叠初始化完全生成的通道切片的集合；使用编码器和解码器对当前输出视频进行重复处理以生成下一个完全生成的通道切片以添加到完全生成的通道切片的当前集合；对于通道索引中的每个，使用相应的完全生成的通道切片生成相应的完全生成的通道堆叠；以及使用完全生成的通道堆叠生成完全生成的输出视频。

本申请是2019年5月23日提交的美国临时专利申请No.62/852,271的非临时申请并要求其优先权，其全部内容通过引用并入本文。

技术领域

本说明书涉及用于视频生成的神经网络系统。

背景技术

神经网络是机器学习模型，其采用一层或多层非线性单元来预测接收到的输入的输出。一些神经网络除输出层外还包括一个或多个隐藏层。每个隐藏层的输出被用作网络中下一层，即，下一隐藏层或输出层的输入。网络的每一层根据相应的参数集合的当前值从接收的输入生成输出。

发明内容

本说明书描述了一种作为计算机程序实现在一个或多个位置中的一个或多个计算机上的神经网络系统，所述计算机实现用于高效视频生成的视频生成神经网络系统。

能够在特定实施例中实现本说明书中描述的主题以便实现以下优点中的一个或多个。由于需要产生的大量像素及其联合分布的巨大复杂性，视频的生成是有挑战性的任务。本说明书中描述的自回归视频神经网络能够结合块局部自注意力机制的高效实现方式通过迭代地生成子缩放视频切片(slice)来解决常规视频生成模型面临的计算挑战。特别地，当将视频分割成块的成本是可忽略的时，所描述的自回归视频神经网络能够通过对视频块应用块局部自注意力来显著地降低存储器需求。所描述的自回归视频神经网络能够通过按时空子缩放次序生成视频来进一步降低存储器需求。结果，能够在保持更长范围的时空依赖性的同时大体上按比例放大所描述的自回归视频神经网络。此可伸缩性允许实现自回归视频神经网络的系统跨一系列流行的视频生成基准获得现有技术水平结果并且对空前复杂性的真实世界视频进行建模。

本说明书主题的一个或多个实施例的细节在附图和以下描述中阐述。本主题的其他特征、方面和优点将从描述、附图和权利要求中变得明显。

附图说明

图1示出视频生成神经网络系统的示例。

图2是用于生成视频的示例过程的流程图。

图3是使用编码器神经网络生成编码调节通道切片的示例过程的流程图。

图4是用于使用解码器神经网络生成下一个完全生成的通道切片的示例过程的流程图。

各图中相同的附图标记和名称指示相同的元件。

具体实施方式

视频生成是诸如内容创建、预测、传递学习和基于模型的强化学习的许多应用中的重要任务。然而，由于视频的统计复杂性、高度的固有随机性和庞大的数据量，生成自然视频仍然是有挑战性的任务。现有的视频生成模型试图通过组合有时复杂的、常常视频特定的神经网络架构、潜在变量模型、对抗性训练和一系列其他方法来解决这些问题。不管它们常常高的复杂性，这些方法仍然达不到在窄域之外生成高质量视频连续并且常常与保真度作斗争。

相比之下，与现有的视频生成模型相比，本说明书中描述的视频生成神经网络系统能够跨多个度量实现更好的结果，因为它能够产生更高保真度和真实性的视频。以计算上高效的方式生成合理视频的能力使本文描述的视频生成神经网络系统变得对于诸如内容创建以及用于诸如机器人操纵和自动驾驶汽车控制的强化学习任务的相机运动和物体或人类移动预测的真实世界应用特别有用。