[发明专利]肢体控制方法、装置和电子设备在审
申请号: | 202011284242.X | 申请日: | 2020-11-17 |
公开(公告)号: | CN112270302A | 公开(公告)日: | 2021-01-26 |
发明(设计)人: | 杨颢 | 申请(专利权)人: | 支付宝(杭州)信息技术有限公司 |
主分类号: | G06K9/00 | 分类号: | G06K9/00 |
代理公司: | 北京汇思诚业知识产权代理有限公司 11444 | 代理人: | 周放 |
地址: | 310007 浙江省杭州市*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 肢体 控制 方法 装置 电子设备 | ||
1.一种肢体控制方法,包括:
获取视频流中的图像;
对所述图像中包括的至少两个人体进行关节点检测,获得所述至少两个人体的目标关节点的位置;其中,所述目标关节点包括人体的预定数量的关节点;
根据所述目标关节点的位置,确定所述至少两个人体中每个人体的人脸区域;
对所述人脸区域进行人脸识别,根据所述人脸识别的结果,确定当前与电子设备进行交互的控制者;
从所述至少两个人体的目标关节点的位置中获取所述控制者的目标关节点的位置,并根据所述控制者的目标关节点的位置,确定所述控制者的手部区域;
对所述手部区域进行识别,控制所述电子设备执行与所述手部区域的识别结果对应的操作。
2.根据权利要求1所述的方法,其中,所述根据所述目标关节点的位置,确定所述至少两个人体中每个人体的人脸区域包括:
根据所述目标关节点中头部和颈部的关节点的位置关系,确定所述至少两个人体中每个人体的人脸区域。
3.根据权利要求1所述的方法,其中,所述对所述人脸区域进行人脸识别,根据所述人脸识别的结果,确定当前与电子设备进行交互的控制者包括:
对每个人体的人脸区域进行人脸识别,将每个人脸区域的人脸识别结果与预先保存的控制者的人脸进行对比,确定当前与电子设备进行交互的控制者。
4.根据权利要求1或3所述的方法,其中,所述确定当前与电子设备进行交互的控制者之后,还包括:
计算所述视频流中当前帧的后一帧与所述当前帧中所述目标关节点的距离差矩阵;
对所述距离差矩阵进行求解,根据所述距离差矩阵的求解结果,确定所述后一帧与所述当前帧中的人体均为所述控制者的人体时,为所述后一帧保留所述当前帧的人脸识别的结果。
5.根据权利要求4所述的方法,其中,所述为所述后一帧保留所述当前帧的人脸识别的结果之后,还包括:
每隔预定时长,重新执行所述对所述人脸区域进行人脸识别的步骤,刷新人脸识别的结果。
6.根据权利要求1所述的方法,其中,所述对所述手部区域进行识别,控制所述电子设备执行与所述手部区域的识别结果对应的操作包括:
对所述视频流包括的图像中所述控制者的手部区域进行手势识别;
当所述手势识别的结果与预先设定的目标手势匹配时,控制所述电子设备执行所述目标手势对应的操作。
7.根据权利要求1所述的方法,其中,所述对所述手部区域进行识别,控制所述电子设备执行与所述手部区域的识别结果对应的操作包括:
从所述目标关节点的位置中获取所述控制者的手部区域的关节点位置;
根据所述视频流包括的图像中手部区域的关节点位置,确定所述控制者的手部的移动速度和移动方向;
控制所述电子设备执行与所述手部的移动速度和移动方向对应的操作。
8.一种肢体控制装置,包括:
获取模块,用于获取视频流中的图像;
检测模块,用于对所述图像中包括的至少两个人体进行关节点检测,获得所述至少两个人体的目标关节点的位置;其中,所述目标关节点包括人体的预定数量的关节点;
确定模块,用于根据所述目标关节点的位置,确定所述至少两个人体中每个人体的人脸区域;
识别模块,用于对所述人脸区域进行人脸识别,根据所述人脸识别的结果,确定当前与电子设备进行交互的控制者;
所述获取模块,还用于从所述至少两个人体的目标关节点的位置中获取所述控制者的目标关节点的位置;
所述确定模块,还用于根据所述控制者的目标关节点的位置,确定所述控制者的手部区域;
控制模块,用于对所述手部区域进行识别,控制所述电子设备执行与所述手部区域的识别结果对应的操作。
9.根据权利要求8所述的装置,其中,
所述确定模块,具体用于根据所述目标关节点中头部和颈部的关节点的位置关系,确定所述至少两个人体中每个人体的人脸区域。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于支付宝(杭州)信息技术有限公司,未经支付宝(杭州)信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011284242.X/1.html,转载请声明来源钻瓜专利网。