[发明专利]交通工具数据关联设备及其方法

说明书

本发明涉及交通工具数据关联设备及其方法。一种交通工具数据关联设备，包括：内部音频/图像数据分析器，被配置成用于接收表示来自交通工具内部的音频或来自交通工具内部的图像中的至少一者的第一数据；在第一数据内标识表示音频指示符或图像指示符的第二数据，其中音频指示符是与交通工具外部对象的重要性相关联的人类语音，并且其中图像指示符是与交通工具外部对象的重要性相关联的交通工具内部的人类的动作；外部图像分析器，被配置成用于接收表示交通工具外部附近区域的图像的第三数据；在第三数据内标识与音频指示符或视频指示符中的至少一者相对应的对象；以及对象数据生成器，被配置成用于生成与该对象相对应的数据。

技术领域

本公开的各个方面涉及来自图像数据的语音识别和基于语音的对象识别。

背景技术

自主交通工具和部分自主交通工具通常依赖于多个传感器来检测与交通工具周围环境有关的信息，并基于该信息来做出驾驶决策。此类传感器可能包括例如多个相机、一个或多个光检测与测距(LIDAR)系统、一个或多个无线电检测与测距(Radar)系统、麦克风、加速计和/或位置传感器。由于这些传感器生成大量的数据，因此可能需要自主交通工具对这些大量的数据进行解析以用于其驾驶操作。

处理这些数据的一个特定挑战是在相关传感器数据与不相关传感器数据之间进行辨别的能力。人工神经网络(ANN)被越来越多地用于处理传感器数据和达成驾驶决策。人工神经网络可能特别适于该项任务，因为人工神经网络可以被配置成用于接收和快速解析大量的数据。

然而，成功实现用于此类传感器数据的解析的ANN需要大量的训练。一个特别具有挑战性的任务是教导ANN在相关的传感器数据与不相关的传感器数据之间进行区分。换言之，虽然人类驾驶员可能能够相对容易地区分相关的视觉或听觉信息，但ANN在没有附加训练的情况下可能无法做到这一点。

附图说明

在附图中，贯穿不同的视图，相同的附图标记一般指代相同部分。这些附图不一定是按比例的，而是一般着重于说明本公开的示例性原理。在下列描述中，参照下列附图描述本公开的各个示例性方面，在附图中：

图1示出根据本公开的各个方面的示例性自主交通工具；

图2示出根据本公开的各个方面的交通工具的安全性系统的各种示例性电子组件；

图3描绘了配置有多个传感器的示例性交通工具；

图4描绘了根据本公开的一方面的交通工具内部400；

图5描绘了基于人类语音的对象标注算法；

图6描绘了注视被用来标识对象的示例；

图7描绘了根据本公开的一方面的眼睛注视检测器；

图8示出了根据本公开的一方面的镜向注视的计算；

图9描绘了手部姿势检测器，该手部姿势检测器可以被配置成用于检测一个或多个手部姿势或手部位置；

图10描绘了根据本公开的一方面的数据合成器和标注器；

图11描绘了根据本公开的一方面的数据存储设备；

图12描绘了根据本公开的一方面的交通工具数据关系设备；以及

图13描绘了交通工具数据关联的方法。

具体实施方式

下列具体实施方式引用附图，这些附图通过说明的方式示出示例性细节以及本公开可在其中实施的各方面。

在本申请中使用词“示例性”来意指“充当示例、实例或说明”。在本申请中被描述为“示例性”的任何方面或设计不一定被解释为相对于其它方面或设计为优选的或有优势的。

贯穿附图，应注意，除非另有说明，否则相同的附图标记用于描绘相同或相似的要素、特征和结构。