[发明专利]用于动作捕捉的标记点的类别确定方法及装置、终端在审
申请号: | 202111212197.1 | 申请日: | 2021-10-18 |
公开(公告)号: | CN113989923A | 公开(公告)日: | 2022-01-28 |
发明(设计)人: | 施跇;王从艺;刘博;柴金祥 | 申请(专利权)人: | 魔珐(上海)信息科技有限公司;上海墨舞科技有限公司 |
主分类号: | G06V40/20 | 分类号: | G06V40/20;G06K9/62;G06N3/04;G06N3/08 |
代理公司: | 北京集佳知识产权代理有限公司 11227 | 代理人: | 骆苏华 |
地址: | 200233 上海市徐汇区宜*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 用于 动作 捕捉 标记 类别 确定 方法 装置 终端 | ||
1.一种用于动作捕捉的标记点的类别确定方法,其特征在于,所述方法包括:获取当前时刻的多张图像,其中,每张图像包括多个待识别标记点;
根据所述多张图像确定当前时刻所述多个待识别标记点的位置信息;
将所述多个待识别标记点的位置信息输入分类模型,以得到多个待识别标记点的类别信息,其中,所述分类模型是采用训练标记点集对预设模型进行训练得到的,所述训练标记点集包括多个动作姿态下多个样本标记点的位置信息和真实类别信息。
2.根据权利要求1所述的用于动作捕捉的标记点的类别确定方法,其特征在于,所述方法还包括:
根据所述多个待识别标记点的类别信息确定当前时刻被摄对象的动作姿态。
3.根据权利要求1所述的用于动作捕捉的标记点的类别确定方法,其特征在于,所述多个待识别标记点的位置信息为当前时刻所述多个待识别标记点对应的坐标矩阵,根据所述多张图像确定所述多个待识别标记点的位置信息包括:
根据每个待识别标记点在各张图像中的位置,确定所述多个待识别标记点对应的初始坐标矩阵;
根据重心坐标和/或旋转矩阵,对所述初始坐标矩阵进行处理,以得到处理后的坐标矩阵;
其中,所述重心坐标为当前时刻被摄对象的重心在空间坐标系中的位置,所述旋转矩阵是采用主成分分析算法对所述初始坐标矩阵进行处理得到的。
4.根据权利要求1所述的用于动作捕捉的标记点的类别确定方法,其特征在于,所述分类模型包括第一全连接层、特征融合模块和第一归一化模块,其中,所述第一全连接层用于根据每个待识别标记点的位置信息计算该待识别标记点的特征信息;
所述特征融合模块用于根据每个待识别标记点的邻域内的多个待识别标记点的特征信息更新该待识别标记点的特征信息;
所述第一归一化模块用于根据所述多个待识别标记点的特征信息确定所述多个待识别标记点的类别信息。
5.根据权利要求4所述的用于动作捕捉的标记点的类别确定方法,其特征在于,所述特征融合模块包括几何信息融合子模块和/或边卷积子模块:
所述几何信息融合子模块用于根据每个待识别标记点的第一相邻标记点的特征信息更新该待识别标记点的特征信息,其中,所述第一相邻标记点为所述待识别标记点的几何邻域内的多个待识别标记点;
所述边卷积子模块用于根据每个待识别标记点的第二相邻标记点的特征信息更新该待识别标记点的特征信息,其中,所述第二相邻标记点为所述待识别标记点的特征邻域内的多个待识别标记点。
6.根据权利要求1所述的用于动作捕捉的标记点的类别确定方法,其特征在于,所述多个待识别标记点的位置信息为多维的坐标矩阵,所述类别信息为概率矩阵,所述分类模型包括:拉伸处理模块、第二全连接层和第二归一化模块,其中,
所述拉伸处理模块用于对所述多维的坐标矩阵进行拉伸处理,以得到拉伸后的坐标矩阵,其中,所述拉伸后的坐标矩阵为一维矩阵;
所述第二全连接层用于对所述拉伸后的坐标矩阵进行处理,以得到一维的输出矩阵;
所述第二归一化模块用于对所述输出矩阵进行处理,以得到所述概率矩阵。
7.根据权利要求1所述的用于动作捕捉的标记点的类别确定方法,其特征在于,所述多个待识别标记点的类别信息为初始概率矩阵,所述初始概率矩阵包括每个待识别标记点属于各个预设类别的概率,所述预设类别包括幽灵点类别,所述方法还包括:
确定预测幽灵点标记,其中,所述预测幽灵点标记为属于各个预设类别的概率中属于所述幽灵点类别的概率最高的待识别标记点;
从所述初始概率矩阵中剔除所述预测幽灵点标记的信息和所述幽灵点类别的信息,以得到第一概率矩阵;
根据所述第一概率矩阵确定每个待识别标记点对应的预设类别。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于魔珐(上海)信息科技有限公司;上海墨舞科技有限公司,未经魔珐(上海)信息科技有限公司;上海墨舞科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111212197.1/1.html,转载请声明来源钻瓜专利网。