[发明专利]一种利用长短期信息融合的视频三维人体姿态估计算法在审
申请号: | 202011092625.7 | 申请日: | 2020-10-13 |
公开(公告)号: | CN112215160A | 公开(公告)日: | 2021-01-12 |
发明(设计)人: | 曾鸣;邓文晋 | 申请(专利权)人: | 厦门大学 |
主分类号: | G06K9/00 | 分类号: | G06K9/00 |
代理公司: | 厦门南强之路专利事务所(普通合伙) 35200 | 代理人: | 马应森 |
地址: | 361005 福建*** | 国省代码: | 福建;35 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 利用 短期 信息 融合 视频 三维 人体 姿态 估计 算法 | ||
1.一种利用长短期信息融合的视频三维人体姿态估计算法,其特征在于包括以下步骤:
1)对第一网络输入一段视频,输出这段视频每一帧对应的人体二维骨架姿态坐标,并组成序列;
2)使用关键帧动作收集算法,从人体二维骨架姿态坐标序列中抽取一定数量的关键帧,将其存储在长期动作池中;
3)使用长短期动作融合算法,将长期动作池中的动作插入到一个滑动窗口内的人体二维骨架姿态坐标序列中,生成一个滑动窗口内重构的人体二维骨架姿态坐标序列;
4)对第二网络输入一个滑动窗口内重构的人体二维骨架姿态坐标序列,输出这段序列中心帧对应的人体三维骨架姿态坐标;
5)将第二网络输出的每个滑动窗口中心帧对应的人体三维骨架姿态坐标进行拼接,输出为视频对应的三维人体姿态序列。
2.如权利要求1所述一种利用长短期信息融合的视频三维人体姿态估计算法,其特征在于在步骤1)中,所述第一网络为二维人体姿态估计网络。
3.如权利要求2所述一种利用长短期信息融合的视频三维人体姿态估计算法,其特征在于所述二维人体姿态估计网络分为特征提取模块和坐标回归模块。
4.如权利要求1所述一种利用长短期信息融合的视频三维人体姿态估计算法,其特征在于在步骤2)中,所述关键帧动作收集算法采用渐进插入的贪心算法。
5.如权利要求1所述一种利用长短期信息融合的视频三维人体姿态估计算法,其特征在于在步骤2)中,所述关键帧动作收集算法的具体步骤为:
(1)构建一个特定容量、特定相似度阈值的长期动作池;
(2)输入人体二维骨架姿态序列,将第一帧直接存入长期动作池中;
(3)从第二帧开始,从前到后逐帧进行判别,若集合未到达容量上限,进一步,若与集合中存储的帧的动作相似度小于阈值,则存入集合;否则不存入;同时对每一帧维护一个总和值,存储该帧与其余各帧相似度之和;
(4)若集合已达容量上限,则需要判断新一帧替换掉总和值最大帧之后集合所有帧总和值之后是否更小,若更小则进行替换,否则不进行替换;
(5)循环步骤(3)和(4),直至运行到输入序列的最后一帧。
6.如权利要求1所述一种利用长短期信息融合的视频三维人体姿态估计算法,其特征在于在步骤3)中,所述长短期动作融合算法采用对称交替动作融合算法。
7.如权利要求1所述一种利用长短期信息融合的视频三维人体姿态估计算法,其特征在于在步骤3)中,所述长短期动作融合算法的具体步骤为:
(1)设定最大插入上限,输入长期动作池和局部动作序列;
(2)对长期动作池中的帧按照与局部动作序列中心帧的相似度进行降序排序,得到排序后的长期动作池;
(3)从排序后的长期动作池取出一帧关键帧,从局部序列中心帧开始往左进行比较,若关键帧与中心帧的相似度高于当前帧与中心帧的相似度,则关键帧插入,左侧其余各帧左移一位,边缘一帧丢弃;否则,进入中心帧右侧进行比较,若关键帧与中心帧的相似度高于当前帧与中心帧的相似度,则关键帧插入,右侧其余各帧右移一位,边缘一帧丢弃;否则,不插入,从长期动作池中选择下一帧;
(4)若在局部序列中心帧左侧插入,则进入中心帧右侧寻找下一帧插入位置,若有插入位置则插入,若无插入位置,则不插入;若在局部序列中心帧右侧插入,则进入中心帧左侧寻找下一帧插入位置,若有插入位置则插入,若无插入位置,则不插入;
(5)循环步骤(3)和(4),直至遍历长期动作池结束或达到最大插入上限。
8.如权利要求1所述一种利用长短期信息融合的视频三维人体姿态估计算法,其特征在于在步骤4)中,所述第二网络为视频三维人体姿态估计网络,且为空洞卷积网络。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于厦门大学,未经厦门大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011092625.7/1.html,转载请声明来源钻瓜专利网。
- 信息记录介质、信息记录方法、信息记录设备、信息再现方法和信息再现设备
- 信息记录装置、信息记录方法、信息记录介质、信息复制装置和信息复制方法
- 信息记录装置、信息再现装置、信息记录方法、信息再现方法、信息记录程序、信息再现程序、以及信息记录介质
- 信息记录装置、信息再现装置、信息记录方法、信息再现方法、信息记录程序、信息再现程序、以及信息记录介质
- 信息记录设备、信息重放设备、信息记录方法、信息重放方法、以及信息记录介质
- 信息存储介质、信息记录方法、信息重放方法、信息记录设备、以及信息重放设备
- 信息存储介质、信息记录方法、信息回放方法、信息记录设备和信息回放设备
- 信息记录介质、信息记录方法、信息记录装置、信息再现方法和信息再现装置
- 信息终端,信息终端的信息呈现方法和信息呈现程序
- 信息创建、信息发送方法及信息创建、信息发送装置