[发明专利]一种城市交通客运车辆盲区预警系统

权利要求书

1.一种城市交通客运车辆盲区预警系统，其特征在于，包括：

外界感知单元，包括多个视觉传感器和多个毫米波雷达，安装于所述客运车辆的车身，用于获取停止时或行驶中的客运车辆车身周边区域出现的目标的图像信息和雷达信息，所述目标包括行人；

目标检测单元，使用训练好的深度神经网络检测所述目标的图像信息以获得目标识别结果和目标位置数据，以及使用训练好的深度神经网络检测所述目标的雷达信息以获得移动目标的位置数据和相对速度；所述目标检测单元使用基于人体语义分割的深度神经网络对行人进行识别，所述目标检测单元对行人的识别包括对行人整体的识别以及对各个人体部位的单独识别，对于行人的图像信息，所述目标的识别结果为行人和各部位，所述部位包括足部，所述目标位置数据为行人坐标信息，包括人体坐标信息和部位坐标信息，所述部位坐标信息包括足部触地点坐标信息；

融合计算单元，用于对通过所述图像信息获得的数据和通过所述雷达信息获得的数据进行交叉验证，即将通过所述图像信息获得的目标位置数据与通过所述雷达信息的移动目标位置数据进行比较，判断是否为同一个目标，并对属于同一个目标的数据进行融合处理，获得融合目标信息；以及

告警单元，用于根据所述融合目标信息计算碰撞时间，并通过将所述碰撞时间与规定阈值进行比较来判断是否启动告警，或者根据目标检测单元检测到的数据来判断是否启动告警，

所述多个视觉传感器包括：安装在车头位置面向车辆前方、感知视角范围超过180度的第一摄像头；安装在车身后部两侧面、感知距离小于50米、视角小于100度的第二和第三摄像头，所述第二和第三摄像头的感知范围包括车身两侧从车后轮至车前门和车头转角区域；所述多个毫米波雷达包括：感知距离超过150米的安装在车头位置面向车辆前方的第一毫米波雷达，感知距离较短的安装在车身两侧的第二和第三毫米波雷达，

对于行人，如果没有识别到足部，则生成的融合目标信息包括：来自图像的人体目标类型、来自雷达的移动目标中心点到本车前后轮触地点的距离、以及来自雷达的所述移动目标与本车的相对速度；如果识别到足部，则生成的融合目标信息包括：来自图像的人体目标类型、来自图像的所述人体目标的足部触地点到本车前后轮触地点的距离、以及来自雷达的所述移动目标与本车的相对速度。

2.根据权利要求1所述的系统，其特征在于，所述客运车辆车身周边区域出现的目标还包括机动车、非机动车、车道标线、路面标志、道路指示牌、限速牌和交通指示灯。

3.根据权利要求2所述的系统，其特征在于，所述目标检测单元对车辆的识别包括对整个车体的识别以及对单个车轮的识别。

4.根据权利要求3所述的系统，其特征在于，对于车辆的图像信息，所述目标的识别结果为车辆的类型，所述目标位置数据为车辆的坐标信息，包括在图像坐标系下整个车体的外轮廓点集、2D框信息、3D框信息，单个车轮的外轮廓点集、2D框信息。

5.根据权利要求1所述的系统，其特征在于，所述目标检测单元对所述雷达信息进行预处理后获得移动目标在世界坐标系下的坐标点和相对速度，所述预处理包括空目标移除、无效目标去除和静止目标的判断。

6.根据权利要求1所述的系统，其特征在于，所述融合计算单元进行如下交叉验证：

创建统一的世界坐标系，将由所述图像信息获得的目标位置数据通过投影转换矩阵转换到统一的世界坐标系，将由雷达信息获得的移动目标位置数据通过坐标系转换到统一的世界坐标系，将两者在统一的世界坐标系中的位置进行比较，从而判断是否为同一个目标。

7.根据权利要求6所述的系统，其特征在于，对于车辆，将由雷达获得的移动目标到本车的距离与由图像信息检测为车辆的目标到本车的距离进行比较，在规定差值内的目标被认为是同一个目标。

8.根据权利要求6所述的系统，其特征在于，对于行人，将由雷达获得的移动目标到本车的距离与由图像信息检测为行人或部位的目标到本车的距离进行比较，在规定差值内的目标被认为是同一个目标。