[发明专利]一种基于枪球联动的驾驶员安全驾驶行为检测方法

权利要求书

1.一种基于枪球联动的驾驶员安全驾驶行为检测方法，其特征在于，该方法包括：

步骤S1：建立监控区域的CIM；在监控区域设置一个位姿固定的枪机和若干个位置固定且可以旋转视角的球机；枪机拍摄监控区域的图像，输出监控区域原始图像；将监控区域原始图像输入训练好的头部关键点检测网络，检测人的头部关键点，输出头部关键点热力图；将监控区域原始图像输入训练好的车头尾关键点检测网络，检测出车头尾关键点，输出车头尾关键点热力图；将监控区域原始图像输入训练好的车身检测网络，检测车身，输出车身亲和矢量场；计算车身亲和矢量场上的线积分，获得各个车头尾关键点之间的连接权重值，使用匹配算法，以图中总权重值最大为目标匹配车头尾关键点，为每个车头关键点匹配一个车尾关键点，输出车身矢量场图；

步骤S2：将头部关键点热力图、车身矢量场图和车头尾关键点热力图叠加在一起并根据枪机的参数投影到CIM地面平面上，得到CIM地面平面上的监控区域俯视图；计算CIM地面平面上监控区域俯视图中每个头部关键点的坐标，根据头部关键点与各个车的车头尾关键点、车头尾关键点连线所在直线的位置关系，从所有头部关键点中筛选出候选头部关键点；选择距离候选头部关键点最近的球机，旋转一定角度使它的光轴经过候选头部关键点，且候选头部在球机拍摄图像的中心，令球机拍摄图像，输出候选人原始图像；

步骤S3：将候选人图像输入训练好的人体关键点检测网络，检测人体关键点，并输出人体关键点热力图；将每一种肢体两端的人体关键点连接起来，输出候选人的骨架图；检测连续多帧候选人的骨架图，根据候选人骨架的位置和动作变化判断候选人是否为驾驶员，筛选出驾驶员并令球机拍摄驾驶员并输出球机拍摄的驾驶员原始图像；

步骤S4：将驾驶员原始图像输入训练好的鞋子检测网络，检测驾驶员鞋子类型，输出鞋子类型；通过WebGIS将CIM可视化。

2.如权利要求1所述的基于枪球联动的驾驶员安全驾驶行为检测方法，其特征还在于，所述头部关键点检测网络的训练方法步骤包括：

采用枪机拍摄的若干帧监控区域原始图像作为训练数据集；

人工标注出人的头部关键点，得到标注数据；

使用均方误差损失函数对网络进行训练。

3.如权利要求1所述的基于枪球联动的驾驶员安全驾驶行为检测方法，其特征还在于，所述车头尾关键点检测网络的训练方法包括：

采用枪机拍摄的若干帧监控区域原始图像作为训练数据集；

人工标注出车头关键点和车尾关键点，得到标注数据；

使用均方误差损失函数对网络进行训练。

4.如权利要求1所述的基于枪球联动的驾驶员安全驾驶行为检测方法，其特征还在于，所述车身检测网络的训练方法包括：

采用枪机拍摄的若干帧监控区域原始图像作为训练数据集；

根据经验将每个车的车头尾关键点用具有一定宽度的线连接起来，将连线作为车身；

在车身包含的所有像素上标注从车尾关键点指向车头关键点方向的单位向量，生成标注数据；

采用均方误差损失函数进行车身检测网络的训练。

5.如权利要求1所述的基于枪球联动的驾驶员安全驾驶行为检测方法，其特征在于，所述判断头部关键点是否为候选头部关键点的方法包括：

计算头部关键点坐标，设头部关键点到车头关键点的向量为从车尾关键点到车头关键点的向量为当与叉乘后得到的向量为垂直CIM地面平面向上的方向，头部关键点到车头尾关键点连线所在直线的距离小于经验距离阈值，头部关键点到车头关键点距离小于或等于到车尾关键点距离时，判定该头部关键点为候选头部关键点。

6.如权利要求1所述的基于枪球联动的驾驶员安全驾驶行为检测方法，其特征还在于，所述人体关键点检测网络的训练方法包括：

采用球机拍摄的若干帧候选人图像作为训练数据集；

人工标注出候选人图像中人的头部、左右髋骨连线中点、左脚背和右脚背关键点，得到标注数据；

使用均方误差损失函数对网络进行训练。