[发明专利]基于目标检测和人体姿态估计的坐姿检测方法

说明书

本发明涉及一种基于目标检测和人体姿态估计的坐姿检测方法，属于图像处理与计算机视觉技术领域。本发明首先提取由特征I和特征II融合形成的融合特征，并将融合后的特征输入CNN中，若融合特征来自于训练集，则用于训练网络参数；若融合特征来自验证集，则用于验证网络参数，并通过反向传播算法传递误差信号，更新梯度，寻找最优值，利用柔性最大激活函数Softmax做分类回归，得到最终的分类结果和分类准确率。本发明解决了现有坐姿检测中在复杂多目标情况下目标丢失的问题，摒弃了传统的依赖可穿戴设备或传感器的方法，采用了基于目标检测和人体姿态估计的方法，使得在背景复杂，人群密集的情况下能够准确定各个任务目标的坐姿。

技术领域

本发明属于图像处理与计算机视觉技术领域，涉及一种基于目标检测和人体姿态估计的坐姿检测方法。

背景技术

随着人工智能技术的进一步发展，深度学习技术也已经得到了越来越多的关注。无人驾驶汽车、智能家居系统等这些伴随着人工智能技术而火热起来的产业也在无时不刻地改变着人们的生活方式与生产方式，机器取代人类，解放生产力在各行各业都有着广泛的应用。校园中的教学、管理方式也应当搭乘深度学习这一“顺风车”，去改善教育工作者的工作。之前，人们去评估一名教师的教学效果，都是由专门的教学督导去各个教室巡查，这样不仅费时费力，而且还有可能出现遗漏的状况。现在，我们可以充分利用广泛分布于各个教室的视频监控系统，运用人工智能技术，来对每堂课的教学效果进行智能分析，充分利用现有的设备资源。因此，如何利用人工智能和机器视觉技术并结合校园内广泛分布的监控设备进行智能分析，并提供实时可靠的信息具有重要意义。

结合现有的视频监控系统，基于目标检测和人体姿态估计的坐姿检测方法的提出对在校学生的教学管理工作具有特殊的解释意义，主要可以运用于在教室中对学生姿态的检测与定位。这包括了以下两个方面：一方面，如果一名教师的课堂是生动有趣的，那么就足以吸引所有的学生都抬头听课，跟着教师的节奏走。但是，如果听课的学生中出现了趴在课桌上走神、睡觉的情况，就可以说明这名教师的教学质量不佳，需要改善自己的教学方式。通用的方法主要可以分为基于环境布设传感器、基于可穿戴设备和基于单人摄像头的方法，这些方法不仅不能对多目标进行实时在线检测，而且成本高昂，并没有多大优势。

发明内容

有鉴于此，本发明的目的在于提供一种基于目标检测和人体姿态估计的坐姿检测方法，可以对人体坐姿进行检测并分类。

为达到上述目的，本发明提供如下技术方案：

利用卷积神经网络CNN进行坐姿检测，且输入到CNN中的融合特征提取包括如下步骤：

S1：对原始图像进行人工标注，标注信息包括包围框Bounding Box、坐姿类别和关节点坐标；

S2：将原始图像输入到目标检测网络，利用Bounding Box信息截取出单人目标图像；

S3：将单人目标图像按坐姿类别进行关节点标记，再将标记的单人目标图像输入到卷积神经网络，提取最后一个卷积层输出的深度神经网络特征作为特征I；

S4：将关节点坐标信息和Bounding Box信息输入到多人姿态估计网络，然后对原始图像做多人姿态估计，并将多人姿态估计图截取为单人人体骨架图；

S5：将单人人体骨架图输入到卷积神经网络，提取最后一个卷积层输出的深度神经网络特征作为特征II；

S6：将特征I和特征II进行融合。

进一步的，还包括步骤S7：将融合后的特征输入CNN中，若融合特征来自于训练集，则用于训练网络参数；若融合特征来自验证集，则用于验证网络参数，并通过反向传播算法传递误差信号，更新梯度，寻找最优值，利用柔性最大激活函数Softmax做分类回归，得到最终的分类结果和分类准确率。

进一步的，步骤S2具体包括：