[发明专利]用于深度学习的传感器融合感兴趣区域识别

说明书

本公开提供“用于深度学习的传感器融合感兴趣区域识别”。执行传感器融合以进行高效深度学习处理。从图像传感器接收相机图像并且从一个或多个补充传感器接收补充传感器数据，所述相机图像和所述补充传感器数据包括交通工具的舱室的成像。基于所述相机图像或所述补充传感器数据中的一者或多者来确定所述相机图像中的感兴趣区域，所述感兴趣区域包括所述相机图像的被标记用于进一步图像分析的区域。利用机器学习模型对所述相机图像的所述感兴趣区域执行对象检测，以识别所述相机图像中的一个或多个对象。将所述对象放置在所述交通工具的就座区中。

技术领域

本公开的各方面涉及使用传感器融合来构建活动的感兴趣区域以进行深度学习模型的高效处理。

背景技术

在计算机视觉领域，深度学习模型可能优于其他机器学习应用。然而，由于图形处理单元(GPU)负载量和要对图像数据执行的计算量，此类模型在计算上可能是昂贵的。降低图像的分辨率可减少计算时间，但模型的性能也对应地降低。

发明内容

在一个或多个说明性示例中，提供了一种用于执行传感器融合以进行高效深度学习处理的系统。交通工具具有多个就座区。所述交通工具的计算装置被编程为从图像传感器接收相机图像并从一个或多个补充传感器接收补充传感器数据；基于所述相机图像或所述补充传感器数据中的一者或多者来确定所述相机图像中的感兴趣区域，所述感兴趣区域包括所述相机图像的被标记用于进一步图像分析的区域；利用机器学习模型对所述相机图像的所述感兴趣区域执行对象检测，以识别所述相机图像中的一个或多个对象；以及将所述对象放置在所述交通工具的所述就座区中。

在一个或多个说明性示例中，执行一种用于传感器融合的方法以进行高效深度学习处理。从图像传感器接收相机图像并且从一个或多个补充传感器接收补充传感器数据，所述相机图像和所述补充传感器数据包括交通工具的舱室的成像。基于所述相机图像或所述补充传感器数据中的一者或多者来确定所述相机图像中的感兴趣区域，所述感兴趣区域包括所述相机图像的被标记用于进一步图像分析的区域。利用机器学习模型对所述相机图像的所述感兴趣区域执行对象检测，以识别所述相机图像中的一个或多个对象。将所述对象放置在所述交通工具的就座区中。

在一个或多个说明性示例中，一种非暂时性计算机可读介质包括用于执行传感器融合以进行高效深度学习处理的指令，所述指令在被计算装置执行时致使所述计算装置执行操作，所述操作包括：从图像传感器接收相机图像并从一个或多个补充传感器接收补充传感器数据，所述相机图像和所述补充传感器数据包括交通工具的舱室的成像；基于所述相机图像或所述补充传感器数据中的一者或多者来确定所述相机图像中的感兴趣区域，所述感兴趣区域包括所述相机图像的被标记用于进一步图像分析的区域；利用机器学习模型对所述相机图像的所述感兴趣区域执行对象检测，以识别所述相机图像中的一个或多个对象；以及将所述对象放置在所述交通工具的就座区中。

附图说明

图1示出了包括用于实现传感器融合以构建活动的感兴趣区域来进行深度学习模型的高效处理的交通工具的示例系统；

图2示出了使用相机-激活的感兴趣区域的后期传感器融合的对象检测算法的第一数据流；

图3示出了使用相机-激活的感兴趣区域的前期传感器融合的对象检测算法的第二数据流；

图4示出了使用相机图像和补充传感器数据的多线程混合融合的对象检测算法的第三数据流；

图5示出了用于实现传感器融合以构建活动的感兴趣区域来进行深度学习模型的高效处理的示例过程；并且

图6示出了用于实现传感器融合以构建活动的感兴趣区域来进行深度学习模型的高效处理的计算装置的示例。

具体实施方式