[发明专利]一种基于深度级可分离卷积网络的行人手势识别与交互方法

说明书

本发明涉及一种深度级可分离卷积网络的行人手势识别与交互方法，包括：通过安装在车辆上的前视相机系统采集包含行人的图像；将图像输入深度可分离卷积网络，检测行人包围盒，将包围盒区域的图像输入手势识别网络，输出行人区域的特征图。将行人所在区域的图像输入手势识别网络进行手势识别。手势识别网络通过深度级可分离卷积层提取特征，在输出特征图的每个点都预测12个人体关节点信息以及对应的12个偏移向量，最后通过对关节点分类理解行人手势，车辆根据识别到的行人手势，结合手势优先级，采取最保守策略做出决策。本发明使用深度级可分离卷积实现模型，成倍缩小模型规模，可以在智能手机等低功耗移动终端实现检测。

技术领域

本发明涉及一种基于深度级可分离卷积网络的行人手势识别与交互技术，属于高级汽车驾驶员辅助技术领域。

背景技术

驾驶环境感知功能是高级汽车驾驶员辅助系统ADAS(Advanced DriverAssistance System)的一项重要功能。行人作为公共交通场景中的重要组成部分，行人的意图对车辆驾驶决策有重要的影响。目前，大多数研究集中在如何让自主驾驶车辆高效安全驾驶，而缺少与行人交互方面的研究。因此，作为驾驶环境感知的重要部分，识别行人手势并进行行人交互有着迫切的需求。

目前，为了完成识别行人手势的任务，主要有两种方法：一种是基于传统的统计学习方法，依赖繁琐复杂的特征工程来得到行人手势信息；另外一种方法是使用深度学习方法，依赖卷积网络提取图像信息，对特征图输出设计合适的损失函数来训练模型，最终达到识别行人手势的目的。传统的基于特征工程的统计学习方法虽然计算量较小，简便易行，但是由于特征工程过于复杂，导致识别精度差；而基于深度卷积网络的模型虽然识别精度高，但是大多需要高性能的GPU才能勉强达到实时识别效果。

中国专利申请公布号CN107423679A的专利提出了一种行人意图检测方法和系统，所述方法包括：设置距离传感器来采集观测区域内的目标形态数据；基于目标的现有状态信息，获知其轨迹信息；针对每个目标的移动轨迹及空间信息，判定该目标的行动意图。该方法只是获取到了行人的行走轨迹的预测，并没有达到行人和车辆交互的效果。另外，中国专利申请公布号CN104915628A的专利提出了一种用于自动化车辆的行人意图检测模型，所述方法包括：获取与行人运动意图相关的行人周围的交通场景的基本场景元素；基于基本场景元素以及行人的随着时间变化的三维3D距离信息，分析行人行走时的状态变化与每个周围基本场景元素之间的关系以获得基本场景元素与行人状态变化之间的关系；利用获得的关系，建立行人与周围所有基本场景元素之间的上下文相关模型；以及基于实时获得的与当前行人相关的当前场景元素，利用建立的上下文相关模型，对行人下一步的运动状态进行预测，以生成行人下一步的运动预测结果。该方法同样没有行人与车辆的交互过程，并且需要识别更多的额外场景信息和3D信息，计算量十分庞大，此外，该方法也没有指明当多个行人同时出现时该如何应对。

发明内容

本发明所要解决的技术问题是：

为了解决自主驾驶汽车行人手势识别与交互过程中存在的模型运算量大、识别速度慢、行人与车辆交互性差的问题，本发明提出一种基于深度级可分离卷积网络的行人手势识别与交互方法。

本发明为解决上述技术问题采用以下技术方案：

本发明提出一种基于深度级可分离卷积网络的行人手势识别与交互方法，其特征在于，包含以下步骤：

步骤一、采集包含行人的图像；

步骤二、将图像输入深度可分离卷积网络，检测行人包围盒，将包围盒区域的图像输入手势识别网络，输出行人区域的特征图；

步骤三、计算关节点坐标并对关节点坐标分类得到手势识别结果；

步骤四、对手势的优先级进行排序；

步骤五、根据优先级在前的手势表达的示意，得到移动车辆的最终交互决策。