[发明专利]基于改进自顶向下法多人姿态检测的行人运动预测方法

说明书

本发明公开了一种基于改进自顶向下法多人姿态检测的行人运动预测方法，通过处理空间变换网络、改进后的自顶向下法单人姿势检测、反空间变换网络处理后的图像提取出人体姿势框图、骨点和姿势，将人体的骨点和姿势经光流处理和长短期记忆神经网络的训练，预测并输出行人接下来的动作，相对于传统的在复杂环境中多人姿态检测的自顶向下算法存在依赖人体框检测而导致的单人姿态检测错误的现象，本发明输出结果得到的多人姿态检测图像准确，无冗杂人体框，无冗杂骨点，无骨骼交叉情况，行人运动预测效果良好。

技术领域

本发明属于图像处理技术领域，涉及一种应用于自动辅助驾驶系统的多人姿态检测方法，具体涉及一种采用改进的多人姿态检测并预测行人运动的方法，提高了在行人重合情况下姿态检测的准确性和实时性。

背景技术

行人检测技术广泛应用于先进辅助驾驶领域，在该领域中，行人检测往往在环境条件好，行人之间没有重合的情况下检测效果明显，对复数情况下的行人检测一直以来是重要的研究内容，本文提出了一种基于改进后的自顶向下法的多人姿势检测的算法并应用于一种实时的人体运动的预测。

目前多人姿态估计有两个主流算法：自顶向下法(Two-step framework)和自底向上法(Part-based framework)，前者自顶向下法是先检测环境中的每一个人体检测框，然后独立地去检测每一个人体边界的姿态，但这种方法极度依赖于姿态检测准确度，并且由于冗余的检测框也可能重复估计单人的边界框；后者自顶向上法是首先检测出环境中的所有肢体节点，然后进行拼接得到多人的骨架，但由于这种方法是取决于人的肢体节点，在两人离得非常近的情况时，非常容易出现错误连接的情况。

传统的姿态检查(SPPE)极易出现错误的边界框，而且冗余的边界框会产生冗余的姿态，尽管最先进的行人识别器已经显示出良好的性能，但在定位和认知方面的小误差是不可避免的，这些误差会导致姿态检查的错误，尤其是仅依赖于人体检测结果的方法，不能满足当下辅助驾驶系统的要求。

发明内容

本发明是要解决现有姿势识别在有多人重叠的情况下检测不准确的问题，提出了一种基于改进自顶向下法多人姿态检测的行人运动预测方法，以便于在人体边界框不准确的情况下进行姿势估计。

本发明所采用的技术方案是：一种基于改进自顶向下法多人姿态检测的行人运动预测方法，其特征在于，包括以下步骤：

步骤1：输入原始多人行人视频；

步骤2：对输入视频进行行人边界框SSD处理，得到行人边界框b；

步骤3：对步骤2中获得的行人边界框b进行空间网络变换，提取出一个高质量的人体区域框；

步骤4：对每一个高质量人体区域框进行单人姿势检测，得到有冗杂的骨点置信度E；

步骤5：对有冗杂的骨点E，进行消除冗杂处理；

步骤6：将步骤3中获得的人体区域框映射至原图坐标中，得到原图坐标中的高质量区域框；

步骤7：将当前帧与前N帧进行步骤1-6的处理，分别得到N+1张图片的骨点E(d_i)，i＝1，2，...，N+1，对这N+1张骨点图画出每张骨点的运动轨迹；

步骤8：对这N+1张图片进行光流处理，得到各个骨点的位移向量ε(d)；

步骤9：将每一帧的骨点d_j以及预计下一帧的新骨点v连接，得到人体骨骼框图；

步骤10：将步骤7中获得的N+1个连续帧E(d_i)和步骤8的光流处理后的骨点位移偏移量ε(d)传输到长短期记忆神经网络LSTM进行训练模型；

步骤11：步骤10中每进行M次训练则生成一次骨骼框图E_f，所述E_f即为实时的行人运动预测。