[发明专利]场景分类

说明书

本发明题为“场景分类”。根据一个方面，可以提供一种场景分类。图像捕获装置可以从移动的车辆捕获环境的第一系列图像帧。时间分类器可以通过时间预测对图像帧进行分类并且基于场景分类模型生成与相应时间预测相关联的一系列图像帧。该时间分类器可以基于卷积神经网络(CNN)、长短期记忆(LSTM)网络和全连接层来执行图像帧的分类。场景分类器可以基于CNN、全局平均池化和全连接层对图像帧进行分类并且基于场景分类模型和相应时间预测生成相关联的场景预测。车辆的控制器可以基于场景预测来激活或停用车辆的车辆传感器或车辆系统。

背景技术

在驾驶场景中，人类对场景的理解涉及回答有关场所、环境状况和交通参与者行为的问题。有趣的是，人类能够快速准确地执行动态场景识别，而很少注意场景中的物体。人类驾驶员具有卓越的能力，可以对复杂的交通场景进行分类，并根据他们的环境调整驾驶行为。在这方面，自动人类层级动态场景识别因此可以是待实现的有吸引力的目标。

发明内容

根据一个方面，一种用于场景分类的系统可以包括图像捕获装置、图像分割模块、图像遮掩器、时间分类器和场景分类器。图像捕获装置可以从移动的车辆捕获环境的第一系列图像帧。图像分割模块可以基于第一卷积神经网络(CNN)识别环境内的一个或更多个交通参与者。图像遮掩器可以通过遮掩环境中的交通参与者中的一个或更多个来生成第二系列图像帧。时间分类器可以通过两个或更多个时间预测中的一个对第二系列图像帧中的一个或更多个图像帧进行分类并且基于场景分类模型生成与相应时间预测相关联的第三系列图像帧。时间分类器可以基于第二CNN、长短期记忆(LSTM)网络和第一全连接层来执行分类。场景分类器可以基于第三CNN、全局平均池化和第二全连接层对第三系列图像帧中的一个或更多个图像帧进行分类并且基于场景分类模型和相应时间预测生成相关联的场景预测。

两个或更多个时间预测可以包括接近注释、进入注释和通过注释。第一CNN、第二CNN或第三CNN可以为deepnet CNN或ResNet 50CNN。用于场景分类的系统可以在车辆中实现，并且车辆可以包括控制器，该控制器基于场景预测来激活或停用车辆的一个或更多个传感器或者一个或更多个车辆系统。

场景分类器可以通过包括晴朗、晴天、下雪、下雨、阴天或有雾的天气分类对第三系列图像帧中的一个或更多个图像帧进行分类，并且控制器可以基于天气分类激活或停用车辆的传感器中的一个或更多个或者车辆系统中的一个或更多个。场景分类器可以通过包括干燥、潮湿或有雪的路面分类对第三系列图像帧中的一个或更多个图像帧进行分类，并且控制器可以基于路面分类激活或停用车辆的传感器中的一个或更多个或者车辆系统中的一个或更多个。场景分类器可以通过包括城市、坡道、公路或本地的环境分类对第三系列图像帧中的一个或更多个图像帧进行分类，并且控制器可以基于环境分类激活或停用车辆的传感器中的一个或更多个或者车辆系统中的一个或更多个。

车辆系统中的一个或更多个可以是LIDAR系统或雷达系统。控制器可以基于场景预测为隧道而停用LIDAR系统或雷达系统。控制器可以基于场景预测为交叉路口而优先搜索交通灯、停车标志、停车线。

根据一个方面，一种配备用于场景分类的系统的车辆可以包括图像捕获装置、图像分割模块、图像遮掩器、时间分类器、场景分类器和控制器。图像捕获装置可以从移动的车辆捕获环境的第一系列图像帧。图像分割模块可以基于第一卷积神经网络(CNN)识别环境内的一个或更多个交通参与者。图像遮掩器可以通过遮掩环境中的交通参与者中的一个或更多个来生成第二系列图像帧。时间分类器可以通过两个或更多个时间预测中的一个对第二系列图像帧中的一个或更多个图像帧进行分类并且基于场景分类模型生成与相应时间预测相关联的第三系列图像帧。时间分类器可以基于第二CNN、长短期记忆(LSTM)网络和第一全连接层来执行分类。场景分类器可以基于第三CNN、全局平均池化和第二全连接层对第三系列图像帧中的一个或更多个图像帧进行分类并且基于场景分类模型和相应时间预测生成相关联的场景预测。控制器可以基于场景预测来激活或停用车辆的一个或更多个传感器或者一个或更多个车辆系统。