[发明专利]基于人体关节点的2D视频多人追踪方法、系统、介质、设备有效
申请号: | 202010045947.X | 申请日: | 2020-01-16 |
公开(公告)号: | CN111223127B | 公开(公告)日: | 2023-04-07 |
发明(设计)人: | 金雪梅;彭琪钧;朱绘霖;曹伟;陈佳佳 | 申请(专利权)人: | 华南师范大学 |
主分类号: | G06T7/246 | 分类号: | G06T7/246;G06V40/10;G06V20/40;G06V10/74 |
代理公司: | 广州市华学知识产权代理有限公司 44245 | 代理人: | 刘巧霞 |
地址: | 510006 广东省广州市番禺区外*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 人体 关节点 视频 追踪 方法 系统 介质 设备 | ||
1.基于人体关节点的2D视频多人追踪方法,其特征在于,包括步骤:
对获取的视频文件进行切割,得到帧序列集合;
识别并提取帧序列集合每一帧中所有人的人体关节点特征;
利用已知人物轨迹的视频进行相似度关系模型训练,使用人体关节点特征计算上下帧中相同人物身体特征的相似度关系,以及上下帧中不同人物身体特征的相似度关系;选择相似度关系作为训练集,使用神经网络算法学习属于同一个人物身份的相似度关系模型;所述相似度关系包括3个参数,分别为皮尔逊相关系数Pcorr,特征点之间距离均值Dmean,特征点之间距离标准差Dstd,计算方法如下:
设第i帧中第m个人特征与第j帧中第n个人的特征之间的相似度
选择和两数组中共同存在的关节点像素位置坐标,得到共存关节点像素位置特征和
计算和之间的皮尔逊相关系数其中,表示和之间协方差,和分别表示和的标准差;
计算和之间的距离均值cn为共存关节点的数量,dc表示对应关节点像素坐标距离绝对值;
计算和之间的距离标准差其中μdc表示dc的平均值;
在进行追踪时,初始化前n帧人物身份,逐帧计算当前身份未知的人物与前若干帧中身份已知的人物的相似度关系,将其输入相似度关系模型,输出是否是该对应身份的概率,确定未知人物的身份,获得该人物的关节点轨迹信息。
2.根据权利要求1所述的基于人体关节点的2D视频多人追踪方法,其特征在于,
相似度关系模型的构建方法如下:
在人体关节点的集合K中取出连续n帧已知追踪策略的关节点坐标集合
取相邻两帧之间对象ID为R的两组关节点坐标之间的相似度参数作为正训练集Sp,样本的标签设为1;取相邻两帧之间ID为R的对象和ID不为R的对象之间的相似度参数作为负训练集,标签设为0;
设定神经网络的层数l和每层的神经元数量nl,将训练集输入到设定好的神经网络中进行多次迭代训练,得到模型ω。
3.基于人体关节点的2D视频多人追踪系统,其特征在于,包括:
视频切割单元,用于对获取的视频文件进行切割,得到帧序列集合;
关节点特征提取单元,用于识别并提取帧序列集合每一帧中所有人的人体关节点特征集合;
相似度计算单元,用于利用已知人物轨迹的视频进行相似度关系模型训练,使用人体关节点特征计算上下帧中相同人物身体特征的相似度关系,以及上下帧中不同人物身体特征的相似度关系;
模型训练单元,用于选择相似度关系作为训练集,使用神经网络算法学习属于同一个人物身份的相似度关系模型;
追踪单元,用于在进行追踪时,初始化前n帧人物身份,逐帧计算当前身份未知的人物与前若干帧中身份已知的人物的相似度关系,将其输入相似度关系模型,输出是否是该对应身份的概率,确定未知人物的身份,获得该人物的关节点轨迹信息。
4.一种存储介质,其特征在于,其中所述存储介质存储有计算机程序,所述计算机程序当被处理器执行时使所述处理器执行权利要求1-2任一项所述的基于人体关节点的2D视频多人追踪方法。
5.一种计算机设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1-2任一项所述的基于人体关节点的2D视频多人追踪方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于华南师范大学,未经华南师范大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010045947.X/1.html,转载请声明来源钻瓜专利网。