[发明专利]一种基于OpenPose改进的嵌入式轻量化驾驶员腿部姿态估计方法

说明书

本发明涉及计算机视觉技术领域，尤其涉及一种基于OpenPose改进的嵌入式轻量化驾驶员腿部姿态估计方法，具体包括以下步骤：使用轻量化网络MobileNetV1进行特征提取得到图像特征，将图像特征输入到双分支并行神经网络结构中获取姿态的关节点热图以及部分亲和场，利用贪婪解析算法进行关节点热图和部分亲和场的拼接，并可视化输出。本发明当输入目标图像只包括驾驶员腿部信息时，可以完成较为精确的腿部姿态估计，同时使用了轻量化网络结构，并采用仅包含2个阶段的分支并行神经网络结构，在保证检测精度的前提下极大的减少了网络参数以及计算量，训练好的腿部姿态检测模型还能够迁移到嵌入式设备并利用NCS2进行推理加速，实现了在便携式设备上的部署应用。

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种基于OpenPose改进的嵌入式轻量化驾驶员腿部姿态估计方法。

背景技术

智能汽车的发展分为手动驾驶、辅助驾驶、部分自动化、有条件自动化、高度自动化和完全自动化6个级别，虽然不同层次、不同功能的汽车智能化技术正迅猛发展，但是真正意义上的全工况自动驾驶在短期内很难实现。因此，在未来很长一段时期内，智能汽车都将处于人机共驾的状态。在人机共驾的状态下，需要对驾驶员驾驶状态进行检测，当计算机发出接管请求时，人类需要接管进行驾驶操作，那么实现安全驾驶的一个关键步骤就是监控驾驶员手臂，以确认驾驶员是否做好接管请求；此外，在一些危急情况下，需要监控驾驶员是否做好踩踏刹车的准备；也有通过驾驶员动作的检测进行驾驶行为的获取的研究。

在自动驾驶辅助研究中，关于驾驶员的动作检测与估计大致分为以下几个类型：头部的检测、手臂、上半身、下半身以及全身的检测。通常为了对关键信息进行分析，往往在检测时会做一些类型的取舍。本文为了对驾驶员腿部和脚部的动作进行检测和判断，所以主要进行驾驶员下半身肢体的姿态估计。

在已有的研究中，光流计算法曾用于检测驾驶员的足部运动状态，通过光流法可以计算出驾驶员的足部光流矢量，进而判断驾驶员的驾驶状态。光流计算法是利用图像序列中像素的变化以及相邻帧之间相关性确定当前帧与前一帧之间的对应关系，进而计算出相邻帧之间目标的运动信息。然而，由于光流法自身的属性，其对变化的光线比较敏感，光线的改变会影响识别结果，且其对实时性要求较高的场景并不适用。由美国卡耐基梅隆大学(CMU)提出的开源OpenPose算法，可以进行人体的姿态估计，无论是检测精度还是实时性方面都是当前最受欢迎的自底向上人体姿态检测算法之一。所以可以使用OpenPose算法进行驾驶员腿部运动的检测，但是由于在车厢内拍摄驾驶员很难拍到驾驶员的整体轮廓，因此若拍摄的图像中只包括驾驶员的下半身，直接使用OpenPose将检测不到腿部信息或者存在很大的误检率，因为OpenPose训练的模型是包括人体整体轮廓的一个模型；此外，若只对腿部及脚部进行检测，检测关键点较少，若使用OpenPose的多层卷积网络进行训练，参数太多会导致腿部检测效率较低。

发明内容

本发明提出一种基于OpenPose改进的嵌入式轻量化驾驶员腿部姿态估计方法，以解决现有的驾驶员腿部姿态估计方法存在检测效率较低的问题。

本发明解决上述问题的技术方案是：一种基于OpenPose改进的嵌入式轻量化驾驶员腿部姿态估计方法，包括以下步骤：

构建基于OpenPose改进的腿部姿态检测模型，其中：所述基于OpenPose改进的腿部姿态检测模型包括依次连接的MobileNetV1网络和双分支卷积神经网络结构；

获取至少一幅包含驾驶员腿部肢体的目标图像并对目标图像中的目标点进行标注；其中，所述目标点包括驾驶员的髋部、膝盖、脚踝和大脚趾；

预处理经过标注后的目标图像以得到目标图像训练集；

利用目标图像训练集对基于OpenPose改进的腿部姿态检测模型进行训练，得到训练好的基于OpenPose改进的腿部姿态检测模型；