[发明专利]一种基于图像识别的行人追踪及过街意图预测方法

权利要求书

1.一种基于图像识别的行人追踪及过街意图预测方法，其特征在于：该系统主要包括三个主要单元，分别是依次连接的摄像单元、算法单元和提示单元；

所述摄像单元包括架设于人行道两侧的智慧灯杆之上至少两组高清摄像机组，用于多视角采集行人过马路视频图像；

所述算法单元包括耦合视角下行人流检测模块、耦合视角下行人3D姿态跟踪模块和行人过马路意图判断模块，所诉耦合视角下行人流检测模块根据摄像单元获取的多角度视图获取行人的2D姿态，而后耦合视角下行人3D姿态跟踪模块生成3D姿态模型后对行人进行跟踪并将获取到的3D姿态传输给行人过马路判断模块，从而判断行人的过马路意图；

所诉提示单元包括车载显示器实时显示行人过马路的3D姿态来提示机动车驾驶员礼让有过马路意图的行人，或通过车载ETC提示机动车驾驶员礼让有过马路意图的行人。

2.根据权利要求1所述的一种基于图像识别的行人追踪及过街意图预测方法，其特征在于，所述摄像单元通过假设于智慧灯杆上的高清摄像机组，采集行人过街视频图像包括以下环境条件：

高清摄像机组架设于人行道两侧的智慧灯杆10米处，多根智慧灯杆上的摄像机组相组合能够完整地看清道路300米内的所有车辆和行人，摄像机的拍摄角度要正对路面。

3.根据权利要求1所述的一种基于图像识别的行人追踪及过街意图预测方法，其特征在于：所述耦合视角下行人流检测模块用于对道路多行人运动的图形进行识别在原始视频上生成2D特征框；

其中包括如下流程：

采集多时间段、多个人行道处的行人过街数据打上人工标签；

将所采集到的数据进行归类汇总送入YOLOv5中进行训练；

根据在训练过程中给出的训练误差调整网络参数，重复训练直到网络的损失函数到达最小。

4.根据权利要求1所述的一种基于图像识别的行人追踪及过街意图预测方法，其特征在于：所述耦合视角下行人3D姿态跟踪模块使用一种多项匹配算法对摄像机组拍摄的多行人运动视图中检测到的2D姿态进行聚类，对同一行人在不同视图中的二维姿态进行编码，并保证检测到的二维姿态在多视图中的周期一致性，进而准确推测出多行人的三维姿态。并且实现对行人的3D姿态进行跟踪。

5.根据权利要求1所述的一种基于图像识别的行人追踪及过街意图预测方法，其特征在于：所述行人过马路意图判断模块用于预测多行人的过街意图，建立预测行人过街的贝叶斯网络模型，将影响行人过街因素作为模型中的节点变量，确立各节点变量的条件概率表，通过推理对多行人的过街意图进行预测，得到行人过街的预测结果。

6.根据权利要求1所述的一种基于图像识别的行人追踪及过街意图预测方法，其特征在于：所述提示单元包括车载电子显示屏或车载ETC做出提示信息，算法单元通过计算判断行人是否有过街意图，若判断为行人有过街意图，则向所述车载电子显示屏和车载ETC发送提示信息，提醒车辆减速或停车让行。