[发明专利]用于自主驾驶应用的应急响应车辆检测

说明书

本发明公开了用于自主驾驶应用的应急响应车辆检测。在各个示例中，可以使用由自主或半自主机器的麦克风捕获的音频对应急响应车辆的音频警示进行检测和分类，以便识别环境中的应急响应车辆的行进方向、位置和/或类型。例如，多个麦克风阵列可以设置在自主或半自主机器上并且用来生成与环境中的声音相应的音频信号。这些音频信号可以(例如使用三角测量)进行处理以确定应急响应车辆的位置和/或行进方向。此外，为了识别告警类型以及因此与其相应的应急响应车辆类型，这些音频信号可以用来生成频谱的表示，其可以使用输出音频数据表示的警示类型的概率的深度神经网络(DNN)进行处理。

背景技术

设计一种在没有监督的情况下自主且安全地驾驶车辆的系统是极其困难的。自主车辆应当至少能够表现为在功能上相当于专心的驾驶员——其利用具有在复杂环境下识别运动和静止障碍物并对这些障碍物做出反应的令人难以置信的能力的感知和动作系统——以避免沿着车辆的路径与其他对象或结构碰撞。此外，为了完全自主地操作，车辆应当能够遵循道路的规则或惯例，这包括遵守与应急响应车辆有关的规则。例如，取决于地理位置，各种规则或惯例可能到位，例如，当检测到应急响应车辆时把车开到路边和/或停下来。

一些常规的系统尝试使用自我车辆的感知识别应急响应车辆。例如，各种传感器类型——例如LiDAR、RADAR、相机等——在可由自我车辆感知时可以用来检测应急响应车辆。然而，由于环境中有许多遮挡的原因，这些系统可能难以识别应急响应车辆，或者难以至少有足够反应时间的情况下识别应急响应车辆。例如，在应急响应车辆接近被建筑物或其他结构遮挡的交叉路口的情况下，自我车辆可能没有感知到应急响应车辆，直到该车辆也进入交叉路口。此时，自我车辆执行符合本地规则的操纵可能太晚，并且因此可能降低了局势的总体安全性和/或妨碍应急响应车辆的移动。

发明内容

本公开的实施例涉及用于自主驾驶应用的应急响应车辆检测。公开了对警示(alert)进行检测和分类的系统和方法，所述警示诸如例如且不限于：应急响应车辆发出的告警(siren)、警报、喇叭和其他模式的产生的声音，来自使用自主或半自主车辆的麦克风捕获以便识别环境中的应急响应车辆的行进方向、位置和/或类型的音频。例如，多个麦克风或者麦克风阵列可以设置在车辆上并且用来生成与环境中的声音相应的音频信号。这些音频信号可以例如使用背景噪声抑制、波束形成和/或其他预处理操作进行处理以确定应急响应车辆的位置和/或行进方向(例如使用三角测量)。为了进一步提高音频数据的质量，这些麦克风可以安装在车辆周围的各个位置(例如前面、后面、左边、右边、里面等等)和/或包括有助于音频质量的物理结构，诸如避免风力作用于麦克风的风挡。

为了识别告警类型以及因此与其相应的应急响应车辆类型，可以通过提取Mel频率系数以生成Mel谱图而将音频信号转换到频域。可以使用诸如卷积递归神经网络(CRNN)之类的深度神经网络(DNN)处理Mel谱图，所述神经网络输出应急响应车辆使用的各种警示类型通过音频数据表示的置信度或概率。由于警示的空间和时间性质，将卷积层用于特征提取以及将递归层用于时间特征识别提高了DNN的精度。例如，DNN可以例如使用门控递归单元(GRU)在保持状态的同时在音频数据的窗口上操作，以便允许说明告警的空间和时间音频分布的更轻量和精确的DNN。此外，可以将注意力应用到时间特征提取层的输出以确定整个窗口内每种类型的应急响应器警示的概率，例如给予检测的警示模式较高的权重，而不管其在窗口内的时间位置如何。为了针对不同驾驶条件——例如下雨、刮风、交通、隧道内、露天等——下的精度训练DNN，可以使用时间拉伸、时间移位、音高移位、动态范围压缩、不同信噪比(SNR)下的噪声增强等等对来自不同警示类型的音频数据进行增强，以生成说明环境物理的回声、混响、衰减、多普勒效应和/或其他效应的更稳健的训练数据集。这样，一旦被部署，DNN可以在各种操作条件下精确地预测应急响应器警示类型。

最后，使用所述位置、行进方向和警示类型可以允许车辆识别应急响应车辆并且作为响应制定符合本地规则或惯例的规划和/或控制决策。此外，通过使用音频(以及在实施例中，使用感知)而不是单独使用感知，可以在较早的时间识别应急响应车辆而不管是否遮挡，从而允许车辆事先制定有助于情形的总体安全的规划决策。

附图说明