[发明专利]使用非线性条件标准化流模型的训练和数据合成和概率推断

说明书

数据概率分布的学习使得能够实现各种应用，其包括但不限于数据合成和概率推断。提供了一种条件非线性标准化流模型以及用于训练所述模型的系统和方法。标准化流模型可以被训练以建模未知的和复杂的条件概率分布，这是许多现实生活应用的核心。例如，经训练的标准化流模型可以用在（半）自主驾驶系统中，以推断行人在给定行人特征——其可以从传感器数据中观察到——的情况下在未来时间处于位置的概率是什么，或者可以用于合成在给定观察到的行人特征的情况下在未来时间t处可能的行人位置。这可以允许驾驶系统确定避开行人的路线。还设想了对于经训练的标准化流模型的各种其它应用。

技术领域

本发明涉及用于训练在数据合成或概率推断中使用的标准化流模型的系统和计算机实现的方法。本发明进一步涉及用于使用经训练的标准化流模型来合成数据实例的系统和计算机实现的方法，以及用于使用标准化流模型来推断数据实例的概率的系统和计算机实现的方法。本发明进一步涉及经训练的标准化流模型。本发明进一步涉及包括表示指令的数据的计算机可读介质，所述指令被布置成使得处理器系统执行计算机实现的方法。

背景技术

未知的数据概率分布是许多现实生活问题的核心，并且可以使用机器学习根据数据进行估计（“学习”）。在已经估计了概率分布的情况下，可以推断概率，例如诸如机械部件中的故障之类的特定事件发生的概率，或者合成符合数据概率分布的新数据，例如生成合成图像。

在许多现实生活应用中，可能合期望的是专门学习数据的条件概率分布，即参考在给定的情况下的概率分布，其中指代条件集合。在已经学习了这样的条件概率分布的情况下，可以从传感器数据实时观察到条件，并且可以使用所学习的条件概率分布来确定在给定的情况下发生的概率是什么。一个示例是根据条件概率分布预测交通参与者的未来位置，该条件概率分布已经被从训练数据中学习，并且取决于诸如行人的过去轨迹、行人看向的方向、身体定向等之类的行人特征，并且是未来时间的函数。这样的条件概率分布可以表述为。更一般地，特征可以包括过去的数据序列，例如过去的图像序列，并且x可以是跟随在所述过去的图像序列之后的图像。

使用学习到的条件概率分布，可以根据学习到的条件概率分布来确定（“推断”）在给定观察到的行人特征的情况下行人在未来时间处于位置的概率是什么。这样的概率推断可以由例如（半）自主车辆的控制系统使用。例如，如果（半）自主车辆当前处于在时间处将其带到位置的路线上，则控制系统可以使用学习到的条件概率分布来确定行人（已经从传感器数据中观察到针对该行人的行人特征）将在该特定时间处于该位置的概率是什么，并且如果概率高于某个阈值，则停止或调整路线。

另一个应用是从条件概率分布采样，以在给定观察到的行人特征的情况下，合成在未来时间的行人位置。在已经合成了行人可能在未来时间所处的这样的位置之后，控制系统然后可以沿着路线引导（半）自主车辆，所述路线避开了所有合成的位置，并且因此可能避开行人。

还存在对于所学习的概率分布的各种其它应用，包括但不限于控制其它类型的自主车辆或机器人。

已知的是，使用所谓的标准化流来用于学习概率分布，这可以通过利用参数化可逆映射将未知分布变换成已知概率分布来学习数据集的概率分布。例如，公开文献[1]描述了一种用于建模复杂的高维密度的深度学习框架，其被称为非线性独立成分估计（NICE）。在NICE中，学习数据的非线性确定性变换，将其映射到隐空间，以便使经变换的数据符合因子化分布，从而导致独立的隐变量。该变换是参数化的，使得计算雅可比行列式和逆变换是平凡的。据说NICE使得能够经由组合简单的构建块来学习复杂的非线性变换，每个构建块基于深度神经网络，并且被称为耦合层。

不利地，NICE和类似的方法不能学习条件概率分布，并且因此在它们的现实生活适用性方面受到限制。也就是说，许多现实生活的问题要求对条件概率分布的学习。此外，虽然存在条件标准化流，例如如公开文献[2]中所述，但是这样的标准化流基于仿射（线性）耦合层，所述仿射（线性）耦合层典型地不能准确地建模复杂的多模态条件概率分布，诸如在给定观察到的行人特征的情况下行人轨迹的以上示例的复杂的多模态条件概率分布。