[发明专利]具有条件标准化流的机器可学习系统

说明书

具有条件标准化流的机器可学习系统。一些实施例针对机器可学习系统（110）。条件标准化流函数以条件作用数据（c）为条件将潜在表示（z）映射到基础空间（E）中的基础点。条件标准化流函数是机器可学习函数，并且在训练对的集合上被训练。

技术领域

本发明涉及机器可学习系统、机器可学习预测系统、机器学习方法、机器可学习预测方法以及计算机可读介质。

背景技术

预测环境中代理或交互代理的未来状态是对于自主代理成功操作而言的关键能力。例如，在许多情景中，这可以被认为是一个预测问题或预测问题的序列。在如真实世界交通场景之类的复杂环境中，未来是高度不确定的，并且因此需求例如以一对多映射的形式的结构化的预测。例如，通过预测世界的可能的未来状态。

在Kihyuk Sohn的“Learning Structured Output Representation using DeepConditional Generative Models”中，描述了条件变分自动编码器（CVAE）。CVAE是用于使用高斯潜在变量的输出预测的条件生成模型。该模型在随机梯度变分贝叶斯框架中被训练，并且允许使用随机前馈推理的预测。

CVAE可以通过使用潜在变量集合对未来状态的分布进行因式分解来对复杂的多模态分布进行建模，所述潜在变量然后被映射到可能的未来状态。尽管CVAE是可以在不确定性下对世界的未来状态成功建模的通用类的模型，但它被发现具有缺点。例如：CVAE倾向于过度正则化，模型发现难以捕获多模态分布，并且观察到潜在变量失效（collapse）。

在后验失效的情况下，条件解码网络忘记条件概率分布的低强度模式。这可能导致单模态预测和概率分布的不良学习。例如，在交通参与者预测中，对应于不太可能的事件（诸如行人进入/穿过街道）的条件概率分布的模式看起来根本没有被预测。

发明内容

具有用于预测的改进系统和对应的训练系统将是有利的。本发明由独立权利要求限定；从属权利要求限定有利的实施例。

在实施例中，一种机器可学习系统被配置用于将目标空间中的预测目标映射到潜在空间中的潜在表示的编码器函数、将潜在空间中的潜在表示映射到目标空间中的目标表示的解码器函数、以及以条件作用数据为条件将潜在表示映射到基础空间中的基础点的条件标准化流函数。

CVAE模型假设潜在变量上的标准高斯先验。发现该先验在预测品质、CVAE要过度正则化的趋势、其在捕获多模态分布中的困难以及潜在变量失效中发挥作用。

在实施例中，使用具有灵活条件先验的变分自动编码器来对条件概率分布进行建模。这至少改进这些问题中的一些，例如CVAE的后验失效问题。

具有基于条件流的先验的机器可学习系统可以用于学习诸如从传感器读数获得的图像、音频、视频或其他数据之类的任意数据的条件概率分布。用于学习条件生成模型的应用包括但不限于交通参与者轨迹预测、生成分类器和例如用于训练数据或验证目的的合成数据生成。

在实施例中，训练对中的条件作用数据包括交通参与者的过去轨迹信息。例如，预测目标可以包括交通参与者的未来轨迹信息。例如，这样的系统可以用于预测交通参与者的一个或多个看似可信的未来轨迹。避免后验失效问题在预测交通参与者的未来行为方面是特别有利的，因为不太可能的行为仍然可以是非常重要的。例如，尽管汽车改变车道的似然性相对低，但它仍然是可能不得不考虑的可能的未来情况。

在实施例中，条件作用数据包括传感器信息，并且预测目标包括分类。例如，在自主设备控制的情况下，例如对于自主汽车而言，决策可以取决于可靠的分类、例如其他交通参与者的分类。例如，预测目标可以是路标的分类，并且条件作用信息可以是例如从图像传感器获得的路标的图像。