[发明专利]一种人手姿态估计方法及系统在审
申请号: | 201810771201.X | 申请日: | 2018-07-13 |
公开(公告)号: | CN108960178A | 公开(公告)日: | 2018-12-07 |
发明(设计)人: | 王贵锦;陈醒濠;季向阳 | 申请(专利权)人: | 清华大学 |
主分类号: | G06K9/00 | 分类号: | G06K9/00;G06N3/04;G06N3/08 |
代理公司: | 北京路浩知识产权代理有限公司 11002 | 代理人: | 王莹;吴欢燕 |
地址: | 100084 北京市海*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 姿态估计 迭代 手部 预设 深度图像 神经网络 特征图 人手 最大程度地 获取目标 输出目标 卷积 决策层 输出 | ||
1.一种人手姿态的估计方法,其特征在于,包括:
获取目标手部的深度图像,将所述深度图像输入至第一预设神经网络的卷积层,输出目标手部的特征图;
将所述特征图和上一次迭代的姿态估计结果输入至第一预设神经网络的决策层,输出当前迭代的姿态估计结果;
若当前迭代的姿态估计结果与上一次迭代的姿态估计结果间的偏差小于预设阈值,则将当前迭代的姿态估计结果作为目标手部的最终姿态估计结果。
2.根据权利要求1所述的方法,其特征在于,所述输出当前迭代的姿态估计结果,之后还包括:
若当前迭代的姿态估计结果与上一次迭代的姿态估计结果间的偏差大于预设阈值,则将当前迭代的姿态估计结果作为上一次迭代的姿态估计结果输入至所述决策层。
3.根据权利要求1所述的方法,其特征在于,所述决策层包括特征优化层和全连接层;
相应地,所述将所述特征图和上一次迭代的姿态估计结果输入至第一预设神经网络的决策层,输出当前迭代的姿态估计结果,具体为:
将所述特征图和上一次迭代的姿态估计结果输入至所述特征优化层,利用所述特征优化层根据上一次迭代的姿态估计结果从所述特征图中提取每个关节点对应的区域特征;
将所有关节点对应的区域特征输入至所述全连接层,输出当前迭代的姿态估计结果。
4.根据权利要求3所述的方法,其特征在于,所述利用所述特征优化层根据上一次迭代的姿态估计结果从所述特征图中提取每个关节点对应的区域特征,具体为:
对于上一次迭代的姿态估计结果中的任意一个关节点,利用所述特征优化层在所述特征图中获取该关节点对应的投影点,以所述投影点为中心提取预设大小的区域特征,获得该关节点对应的区域特征。
5.根据权利要求3所述的方法,其特征在于,所述全连接层包括第一全连接层、第二全连接层和第三全连接层;
相应地,将所有关节点对应的区域特征输入至所述全连接层,输出当前迭代的姿态估计结果,具体为:
将所有关节点对应的区域特征输入至所述第一全连接层,利用所述第一全连接层将属于同一手指的关节点对应的区域特征进行串接,获得每个手指对应的局部特征;
将所有手指对应的局部特征输入至所述第二全连接层,利用所述第二全连接层将所有手指对应的局部特征进行串接,获得所述目标手部对应的整体特征;
将所述整体特征输入至所述第三全连接层,输出当前迭代的姿态估计结果。
6.根据权利要求1所述的方法,其特征在于,所述将所述特征图和上一次迭代的姿态估计结果输入至第一预设神经网络的决策层,之前还包括获得初始姿态估计结果的步骤,具体为:
将所述深度图像输入至第二预设神经网络,根据所述第二预设神经网络的输出结果,获得初始姿态估计结果。
7.根据权利要求6所述的方法,其特征在于,所述将所述深度图像输入至第二预设神经网络,之前还包括:
获取多个手部的深度图像样本,在每个所述深度图像样本中标记出预设数量的关节点,将标记后的每个所述深度图像样本作为训练样本;
利用所有所述训练样本对所述第二预设神经网络进行训练。
8.一种人手姿态的估计系统,其特征在于,包括:
特征提取模块,用于获取目标手部的深度图像,将所述深度图像输入至第一预设神经网络的卷积层,输出目标手部的特征图;
结果迭代模块,用于将所述特征图和上一次迭代的姿态估计结果输入至第一预设神经网络的决策层,输出当前迭代的姿态估计结果;
结果确定模块,用于若当前迭代的姿态估计结果与上一次迭代的姿态估计结果间的偏差小于预设阈值,则将当前迭代的姿态估计结果作为目标手部的最终姿态估计结果。
9.一种电子设备,其特征在于,包括:
至少一个处理器;以及
与所述处理器通信连接的至少一个存储器,其中:
所述存储器存储有可被所述处理器执行的程序指令,所述处理器调用所述程序指令能够执行如权利要求1至7任一所述的方法。
10.一种非暂态计算机可读存储介质,其特征在于,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机执行如权利要求1至7任一所述的方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于清华大学,未经清华大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810771201.X/1.html,转载请声明来源钻瓜专利网。