[发明专利]一种基于人脸识别和人体姿态估计的俯卧撑测试系统

权利要求书

1.一种基于人脸识别和人体姿态估计的俯卧撑测试系统，其特征在于基于人脸识别和人体姿态估计的俯卧撑测试系统由支柱(1)和俯卧撑考核器(2)组成，俯卧撑考核器(2)固定在支柱(1)顶端；

支柱(1)由底盘(12)和支撑杆(11)组成，支撑杆(11)采用胶黏剂黏在底盘(12)上；

俯卧撑考核器(2)由主板机盒(24)、显示屏(22)、摄像头(21)、总开关(23)、电源组件和主板组成；主板机盒(24)的下底面开有圆形通孔，使得俯卧撑考核器(2)通过卡扣方式连接在支撑杆(11)的顶端；

所述主板机盒(24)容纳主板、电源组件，安装显示屏(22)、摄像头(21)、总开关(23)；主板机盒(24)的正面(241)上挖有凹槽(242)，凹槽(242)嵌入显示屏(22)；

所述显示屏(22)为触控液晶屏，与主板中运行的显示模块相连；当俯卧撑考核器(2)通电后显示屏(22)面板上显示新建录入、身份对比、俯卧撑计数三个触控按钮，用于开启新建录入、身份对比、俯卧撑计数三项工作界面，并显示显示模块发送的消息，包括视频帧、人员信息、俯卧撑个数、各种提示；

所述摄像头(21)安装在主板机盒(24)的凹槽(242)的上方，与采集模块、显示模块相连，用于获取视频帧，将视频帧发送给采集模块；

所述总开关(23)与电源组件相连，用于开启电源组件；

所述电源组件集成在主板机盒(24)内，与总开关和主板相连，用于为俯卧撑考核器(2)供电；

所述主板为深度学习开发板，集成并固定在主板机盒(24)内，与显示屏(22)、摄像头(21)、总开关(23)和电源组件相连；主板上装有俯卧撑软件，俯卧撑软件由采集模块、新建录入模块、身份对比模块、计数模块、显示模块和数据库组成；

采集模块与摄像头(21)、新建录入模块、身份对比模块、计数模块、显示模块相连，负责获取摄像头(21)的视频帧，将视频帧传给新建录入模块、身份对比模块、计数模块、显示模块；

新建录入模块与采集模块、显示模块和数据库相连，新建录入模块从显示屏(22)上新建录入按钮接收用户输入的姓名和编号，在数据库中查询是否有重复的姓名或者编号，如果重复，向显示模块发送“人员信息已存在，请勿重新录入”的提示，如果不重复，新建录入模块从采集模块接收视频帧，利用人脸识别算法对视频帧进行人脸识别，得到人脸特征，将人脸特征和数据库中的人脸特征作对比，若人脸特征存在，新建录入模块向显示模块发送“人脸信息已存在，请核对姓名和编号”的提示；若人脸特征不存在，新建录入模块将人脸特征、姓名和编号存入数据库中，向显示模块发送“录入成功”提示；

身份对比模块与采集模块、显示模块和数据库相连，身份对比模块通过显示屏(22)显示的身份对比按钮从采集模块接收视频帧，利用人脸识别算法对视频帧进行人脸识别，得到人脸特征，将人脸特征和数据库中的人脸特征作对比；当数据库中存在与被测人员人脸特征比对成功的人脸特征，从数据库中查找到被测人员的姓名，编号信息，向显示模块发送“身份认证成功”提示，并显示姓名和编号；若不存在被测人员人脸信息，向显示模块发送“身份未能成功识别，请先录入人脸信息”提示；

计数模块与采集模块、显示模块相连，从采集模块接收被测人员准备动作时的视频帧，采用人体姿态估计算法对视频帧做实时人体姿态估计，获取视频帧中被测人员的关节点坐标，判断被测人员双肩与双肘的关节点坐标，双肩的关节点纵坐标平均值与双肘的关节点纵坐标平均值相同后双肩位置再回到最高位置的关节点坐标计完成俯卧撑一次；计数模块流程为：

第一步，初始化双肩最高关节点纵坐标最高值H＝0，令双肩实时关节点纵坐标位置平均值p＝0，令双肘实时关节点纵坐标位置平均值q＝0，令俯卧撑个数c＝0；令计数状态s＝0，s＝0代表完成了俯卧撑向下的动作后并回到准备动作，s＝1完成了俯卧撑向下的动作并未回到准备动作；

第二步，计数模块从采集模块获取准备动作时刻人体视频帧；

第三步，计数模块采用人体姿态估计算法获取准备时刻被测人员的关节点坐标，并提取右肩的关节点坐标N₂(X₂,Y₂)、右肘的关节点坐标N₃(X₃,Y₃)、右腕的关节点坐标N₄(X₄,Y₄)、左肩的关节点坐标N₅(X₅,Y₅)、左肘的关节点坐标N₆(X₆,Y₆)、左腕的关节点坐标N₇(X₇,Y₇)，判断线段N₃ N₂与线段N₃ N₄所成角度，以及线段N₆ N₅与线段N₆ N₇所成角度是否在角度阈值κ内，若所成角度不在阈值κ内，向显示模块发送“准备动作不标准，请注意手臂不要弯曲”提示，转第二步；若所成角度在角度阈值κ内，则将右肩的关节点坐标N₂(X₂,Y₂)和左肩的关节点坐标N₅(X₅,Y₅)的纵坐标平均值赋值给H，即令H＝(Y₂+Y₅)/2，将H作为双肩在整个俯卧撑测试过程中最高位置，向显示模块发送“准备动作标准，请继续完成俯卧撑动作”提示，转第四步；

第四步，计数模块从采集模块获取人体视频帧；

第五步，计数模块获取人体视频帧中人体骨架关节点坐标，根据人体骨架关节点坐标对俯卧撑进行计数，将俯卧撑个数c发送给显示模块，方法是：

5.1计数模块采用人体姿态估计算法获取实时人体视频帧中人体骨架关节点坐标，若在时间阈值T内获取了右肩的关节点坐标N₂(X₂,Y₂)、左肩的关节点坐标N₅(X₅,Y₅)、右肘的关节点坐标N₃(X₃,Y₃)、左肘的关节点坐标N₆(X₆,Y₆)的值，转5.2；若在T内未获取到双肩、双肘的视频像素坐标，转5.3.3；

5.2计数模块将右肩的关节点坐标N₂(X₂,Y₂)、左肩的关节点坐标N₅(X₅,Y₅)的纵坐标平均值赋值给双肩实时关节点纵坐标位置值p，即令p＝(Y₂+Y₅)/2，将右肘的关节点坐标N₃(X₃,Y₃)、左肘的关节点坐标N₆(X₆,Y₆)的纵坐标平均值赋值给双肘实时关节点纵坐标位置值q，即令q＝(Y₃+Y₆)/2；

5.3计数模块根据s、p、q、H的情况判断是否进行俯卧撑计数：

5.3.1若s＝0且|p－q|≤σ，σ为第一距离阈值，令s＝1，转第四步；

5.3.2若s＝1且|p－H|≤β，β为第二距离阈值，令c＝c+1，s＝0，转5.3.5；

5.3.3若未获取到人体骨架关节点坐标或p＞H+γ₁或pq－γ₂，γ₁为第三距离阈值，γ₂为第四距离阈值，转第六步；

5.3.4否则，直接转第四步；

5.3.5计数模块将俯卧撑累计个数c发送给显示模块，并由显示模块向显示屏(22)发送进行实时显示，转第四步；

第六步，计数模块令p＝0，q＝0，此时的c即为该被测人员的俯卧撑个数，向显示模块发送“XX最终俯卧撑成绩为c个”，其中XX代表从身份识别模块获取的被侧人员姓名，结束；

数据库与新建录入模块、身份对比模块相连，存储被测人员的姓名、编号和人脸特征数据；

显示模块与采集模块、新建录入模块、身份对比模块、计数模块和显示屏(22)相连，从采集模块接收视频帧，从新建录入模块接收录入的姓名和编号信息；若从新建录入模块接收到“人员信息已存在，请勿重新录入”的提示，则向显示屏(22)发送“人员信息已存在，请勿重新录入”的提示；若从新建录入模块接收到“录入成功”提示，则向显示屏(22)发送“录入成功”提示；若从新建录入模块接收到“人脸信息已存在，请核对姓名和编号”的提示，则向显示屏(22)发送“人脸信息已存在，请核对姓名和编号”的提示；显示模块从身份对比模块接收姓名和编号信息，若从身份对比模块接收到“身份认证成功”提示，向显示屏(22)发送“身份认证成功”的提示，并显示姓名和编号；若从身份对比模块接收到“身份未能成功识别，请先录入人脸信息”提示，则向显示屏(22)发送“身份未能成功识别，请先录入人脸信息”的提示；显示模块从计数模块接收被测人员的动作判断信息和俯卧撑个数，当从计数模块接收到“准备动作不标准，请注意手臂不要弯曲”提示时，向显示屏(22)发送“准备动作不标准，请注意手臂不要弯曲”的提示；当从计数模块接收到“准备动作标准，请继续完成俯卧撑动作”提示时，向显示屏(22)发送“准备动作标准，请继续完成俯卧撑动作”的提示；当从计数模块接收到“XX最终俯卧撑成绩为c个”时，将视频帧、姓名、编号和俯卧撑个数c一起发送给显示屏(22)。