[发明专利]利用训练的神经网络的单组件数据处理系统和方法

说明书

提供了被配置为使用单组件专用传感器数据处理神经网络来处理传感器数据的方法、系统、装置和计算机程序产品。单组件数据处理系统被配置为从传感器接收输入数据，使用由单个训练的传感器数据处理组件体现的神经网络分析输入数据，其中单个训练的传感器数据处理组件被训练以产生输出数据，其近似于以流水线方式执行的多个特定于任务的转换，并在转换输入数据之后产生输出数据。另外，提供了用于训练单个训练的传感器数据处理组件以近似于以流水线方式执行的多个特定于任务的转换的方法、系统、装置和计算机程序产品。

技术领域

本公开的某些实施例通常涉及一种方法，装置和计算机程序产品，其用于利用训练的传感器数据处理神经网络将输入的传感器数据转换成输出数据，该神经网络被训练以近似多个特定于任务的转换。

背景技术

传感器数据的使用越来越多地预示技术驱动的决策。在一个这样的示例中，自主车辆配备有多个传感器，这些传感器被设计为确保车辆按预期运行。这些传感器包括但不限于光探测和测距(LiDAR)系统，惯性导航系统(INS)，相机和雷达。然而，这些传感器通常采集具有原始输入数据形式的信号，图像或其它数据，该原始输入数据形式对于包括例如自主车辆的感知系统的许多其它系统是不可用的。为了有用，输入数据必须通过各种转换来处理，以达到已处理且可解释的形式。

取决于用于收集输入数据的传感器系统的类型，所需的转换和处理步骤不同。将输入数据转换为可解释的形式通常需要进行多种不同的转换。在某些情况下，为了促进这些数据转换，片上系统利用了多个专用组件。在某些情况下，多个组件以线性流水线进行组织，以使从一个专用组件输出的数据流到下一个专用组件的输入，直到完成整个转换过程为止。一旦最终的专用组件执行了其转换，数据便以可解释的形式输出。

然而，在其中每个流水线系统执行单个专门转换的多个流水线系统中，组件的数量随完成数据处理流水线所需的转换数量的增加而增加。随着组件数量的增加，系统需要更大的材料占用面积，增加了所需的功耗，并导致成本增加。同样，增加的组件数会降低总体系统效率和系统效能。

例如，彩色图像渲染流水线通常包括以下步骤：[1]图像传感器校正，[2]降噪，[3]图像缩放，[4]伽马校正，[5]图像增强，[6]颜色空间变换，[7]色度子采样，[8]帧率变换，以及[9]图像压缩。假设这些是给定系统必须执行的唯一步骤，那么流水线数据处理系统将需要9个单独的专用组件，每个单独的步骤都需要一个组件。随着向流水线中增加附加步骤，所需的附加专用组件的数量也持续增加，进一步加剧了占用面积，功耗和相关材料成本的增加。

发明内容

因此，根据本发明的示例实施例，提供了一种方法，装置和计算机程序产品，用于利用训练的传感器数据处理神经网络对传感器数据进行处理，该训练的传感器数据处理神经网络被训练以近似于以流水线方式执行的多个特定于任务的转换功能。通过训练神经网络以近似于以流水线方式执行的多个特定转换功能，训练的传感器数据处理神经网络可代替以流水线方式执行的多个特定于任务的转换。体现训练的传感器数据处理神经网络的单个训练的传感器数据处理组件可代替被配置成以流水线方式执行多个特定于任务的转换的多个专用组件。这样，训练的传感器数据处理组件可以减少组件的硅占用面积，减少所需的功率消耗，降低组件成本以及提高传感器数据处理系统的效率和效能。

示例实施例包括一种装置，该装置包括被配置为处理传感器数据的单个训练的传感器数据处理组件。示例装置被配置为使用单个训练的传感器数据处理组件，接收来自传感器的输入数据，并使用由单个训练的传感器数据处理组件所体现的神经网络来分析输入数据，其中，单个训练的传感器数据处理组件被训练以产生输出数据，其近似于以流水线方式执行的多个特定于任务的转换，并在转换输入数据之后产生输出数据。

在一些实施例中，包括单组件传感器数据处理组件的装置还被配置为向第二系统输出该输出数据。多个特定于任务的转换可以包括顺序执行的特定于传感器的转换。在一些实施例中，输入数据包括原始数据，而在其它实施例中，输入数据包括已经历了至少一个预处理转换的数据。