[发明专利]机器人系统的性能测试

权利要求书

1.一种用于测试和/或训练机器人系统的运行时堆栈的计算机系统，所述计算机系统包括：

模拟器，所述模拟器被配置为运行模拟场景，其中，模拟主体与一个或更多个外部对象交互；

运行时堆栈的规划器，所述运行时堆栈的规划器被配置为根据为所述模拟场景计算的感知输出的时间序列为每个模拟场景做出自主决策；以及

运行时堆栈的控制器，所述运行时堆栈的控制器被配置为生成一系列控制信号以使所述模拟主体随着所述模拟场景的进展而执行所述自主决策；

其中，所述计算机系统被配置为通过以下操作来计算每个感知输出：

基于所述模拟场景的当前状态计算感知地面实况；

将感知统计性能模型(PSPM)应用于所述感知地面实况，从而确定概率感知不确定性分布；以及

从所述概率感知不确定性分布中采样所述感知输出；

其中，PSPM用于对所述运行时堆栈的感知切片进行建模，并且被配置为基于从使用要被建模的感知切片生成的实际感知输出集合学习的参数集合来确定所述概率感知不确定性分布；

其中，所述感知切片包括在线误差估计器，且所述计算机系统被配置为使用所述PSPM以响应于所述感知地面实况来获得感知输出的预测的在线误差估计。

2.根据权利要求1所述的计算机系统，其中，从所述概率感知不确定性分布采样所述预测的在线误差估计。

3.根据权利要求2所述的计算机系统，其中，所述PSPM采取函数逼近器的形式，所述函数逼近器接收感知地面实况t，并且输出概率感知不确定性分布的参数，从所述概率感知不确定性分布采样所述感知输出和预测的在线误差估计。

4.根据权利要求3所述的计算机系统，其中，所述PSPM具有神经网络架构。

5.根据前述权利要求中任一项所述的计算机系统，其中，所述PSPM被应用于所述感知地面实况以及与所述模拟场景相关联的一个或更多个混杂因素，其中，每个混杂因素是所述PSPM的变量，所述变量的值表征适用于所述模拟场景的物理条件，并且所述概率感知不确定性分布依赖于所述变量，所述预测的在线误差估计依赖于所述混杂因素。

6.根据权利要求5所述的计算机系统，其中，所述一个或更多个混杂因素包括以下混杂因素中的一个或更多个，所述混杂因素至少部分地确定从中采样所述感知输出的概率不确定性分布：

外部对象中的至少一个的遮挡级别；

一个或更多个照明条件；

一天中的时间的指示；

一种或更多种天气条件；

季节的指示；

所述外部对象中的至少一个的物理特性；

传感器条件，例如，所述外部对象中的至少一个在主体的传感器视场中的位置；

所述外部对象的数量或密度；

两个所述外部对象之间的距离；

所述外部对象中的至少一个的截断级别；

对象中的至少一个的类型，以及

关于所述外部对象中的至少一个是否对应于来自所述模拟场景的较早时刻的任何外部对象的指示。

7.根据前述权利要求中任一项所述的计算机系统，其中，

所述PSPM包括时间依赖模型，使得在预测的在线误差估计处采样的所采样的感知输出取决于以下中的至少一项：在前一时刻采样的所述感知输出中的较早的一个、以及针对前一时刻计算的所述感知地面实况中的较早的一个。

8.根据前述权利要求中任一项所述的计算机系统，包括：

场景评估部件，所述场景评估部件被配置为通过应用预定规则集合来评估所述外部主体在每个所述模拟场景中的行为。

9.根据权利要求8所述的计算机系统，其中，预定规则中的至少一些与安全性有关，并且所述场景评估部件被配置为评估所述主体在每个所述模拟场景中的行为的安全性。