[发明专利]一种基于图像识别的行人追踪及过街意图预测方法

说明书

本发明涉及交通安全领域，具体是指一种基于图像识别的行人追踪及过街意图预测方法，包括摄像单元、算法单元和提示单元；摄像单元包括用于耦合视角采集行人过马路视频图像的至少两组高清摄像机组；算法单元包括耦合视角下行人流检测模块、耦合视角下行人3D姿态跟踪模块和行人过马路意图判断模块，所诉耦合视角下行人流检测模块根据摄像单元获取的多角度视图获取行人的2D姿态，而后耦合视角下行人3D姿态跟踪模块生成3D姿态模型后对行人进行跟踪并将获取到的3D姿态传输给行人过马路判断模块，从而准确、快速、鲁棒性的判断行人的过马路意图；提示单元采用车载电子显示屏输出视频音效提示驾驶员或采用车载ETC音效提示驾驶人员礼让行人。

技术领域

本发明涉及交通安全领域，具体是指一种基于图像识别的行人追踪及过街意图预测方法。

背景技术

随着我国城市化进程的高速发展和机动车保有量的快速增加，人车冲突问题日益严重，行人已成为第二大交通事故伤害对象。因此，如何有效保障行人的交通安全，降低和减少行人交通事故起数和伤亡程度，提高道路交通通行效率，是城市道路交通管理的重点工作。

目前，由于国内城市道路交通系统路网密度较低，车流量较大，行人交通出行较为频繁，传统的行人过街按钮的控制模式已无法满足需求，行人过街按钮的控制模式要么对机动车交通造成较大的干扰，大幅度降低道路通行效率，甚至造成交通拥堵；要么由于行人过街信号不能及时得到响应，行人缺乏足够的等待耐心或认为行人过街按钮失效，行人闯红灯现象较为普遍，人车冲突问题比较突出，行人过街按钮控制模式不能有效保障行人的过街安全。亟需研发一种能够对下行人流追踪及过街意图进行高准确度进行预测的系统。

发明内容

本发明要解决的技术问题是克服上述技术的缺陷，提供一种基于图像识别的耦合视角下行人流追踪及过街意图预测方法。

一种基于图像识别的耦合视角下行人流追踪及过街意图预测方法，该系统主要包括三个主要单元，分别是依次连接的摄像单元、算法单元和提示单元；

所述摄像单元包括架设于人行道两侧的智慧灯杆之上至少两组高清摄像机组，用于多视角采集行人过马路视频图像；

所述算法单元包括耦合视角下行人流检测模块、耦合视角下行人3D姿态跟踪模块和行人过马路意图判断模块，所诉耦合视角下行人流检测模块根据摄像单元获取的多角度视图获取行人的2D姿态，而后耦合视角下行人3D姿态跟踪模块生成3D姿态模型后对行人进行跟踪并将获取到的3D姿态传输给行人过马路判断模块，从而判断行人的过马路意图；

所诉提示单元包括车载显示器实时显示行人过马路的3D姿态来提示机动车驾驶员礼让有过马路意图的行人，或通过车载ETC提示机动车驾驶员礼让有过马路意图的行人。

进一步地，所述摄像单元通过假设于智慧灯杆上的高清摄像机组采集行人过街视频图像包括以下环境条件，

高清摄像机组架设于人行道两侧的智慧灯杆10米处，多根智慧灯杆上的摄像机组相组合能够完整地看清道路300米内的所有车辆和行人，摄像机的拍摄角度要正对路面。

进一步地，所述耦合视角下行人流检测模块用于对道路多行人运动的图形进行识别在原始视频上生成2D特征框。

其中包括如下流程：

采集多时间段、多个人行道处的行人过街数据打上人工标签；

将所采集到的数据进行归类汇总送入YOLOv5中进行训练；

根据在训练过程中给出的训练误差调整网络参数，重复训练直到网络的损失函数到达最小。

进一步地，所述耦合视角下行人3D姿态跟踪模块使用一种多项匹配算法对摄像机组拍摄的多行人运动视图中检测到的2D姿态进行聚类，对同一行人在不同视图中的二维姿态进行编码，并保证检测到的二维姿态在多视图中的周期一致性，进而准确推测出多行人的三维姿态。并且实现对行人的3D姿态进行跟踪。