[发明专利]动作打标签模型的构建、视频动作打标方法及装置在审
申请号: | 202010775545.5 | 申请日: | 2020-08-04 |
公开(公告)号: | CN112036252A | 公开(公告)日: | 2020-12-04 |
发明(设计)人: | 周慧子;高宗;陈彦宇;马雅奇;谭龙田;刘欢 | 申请(专利权)人: | 珠海格力电器股份有限公司;珠海联云科技有限公司 |
主分类号: | G06K9/00 | 分类号: | G06K9/00;G06K9/62 |
代理公司: | 北京华夏泰和知识产权代理有限公司 11662 | 代理人: | 卢万腾;杜欣 |
地址: | 519070*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 动作 标签 模型 构建 视频 方法 装置 | ||
1.一种动作打标签模型的构建方法,其特征在于,包括:
将视频(i)输入至模型(i)中,以使所述模型(i)对所述视频(i)中的目标人物的动作执行打标签操作,输出携带有标签数据(2i-1)的所述视频(i),其中,i为大于等于1的正整数;
对携带有所述标签数据(2i-1)的所述视频(i)中的所述标签数据(2i-1)执行校准操作,生成携带有标签数据(2i)的所述视频(i);
将携带有所述标签数据(2i)的所述视频(i)输入至所述模型(i)中进行训练,得到模型(i+1);
若所述模型(i+1)与所述模型(i)对应运算参数的相似度处于预设范围内,则将所述模型(i+1)作为动作打标签模型。
2.根据权利要求1所述的方法,其特征在于,所述标签数据(2i-1)或所述标签数据(2i)包括:动作类型和所述动作类型对应的起止时间;
所述对携带有所述标签数据(2i-1)的所述视频(i)中的所述标签数据(2i-1)执行校准操作,生成携带有标签数据(2i)的所述视频(i),包括:
确定所述视频(i)中目标人物所产生动作对应的动作类型,以及每个所述动作类型对应的起止时间;
基于所述动作类型,以及每个所述动作类型对应的起止时间对所述标签数据(2i-1)执行校准操作,修正所述标签数据(2i-1)中的类型误差和/或起止时间误差,生成携带有所述标签数据(2i)的所述视频(i)。
3.根据权利要求1所述的方法,其特征在于,若i=1,则模型(1)为初始分类模型;
所述初始分类模型中存储有多个动作类型;
所述动作类型至少包括以下之一:
所述目标人物的取装风叶动作、装垫片动作、涂紧固胶动作和/或打螺母动作。
4.根据权利要求1所述的方法,其特征在于,若所述视频(i)中的i取不同值,则对应为相同场景下、目标人物的动作顺序不同的视频。
5.根据权利要求1-4任一所述的方法,其特征在于,所述方法还包括:
若所述模型(i+1)与所述模型(i)对应运算参数的相似度未处于预设范围内,则通过调整所述模型(i+1)中的运算参数继续执行对所述模型(i+1)的训练步骤。
6.一种视频动作打标方法,其特征在于,包括:
将待打标签的视频数据输入至动作打标签模型,以使所述动作打标签模型识别所述视频数据中目标人物的动作类型,以及每个所述动作类型对应的起止时间;
所述动作打标签模型基于所述动作类型,以及每个所述动作类型对应的起止时间对所述目标人物的动作执行打标签操作,输出携带有标签数据的所述视频数据。
7.根据权利要求6所述的方法,其特征在于,所述动作打标签模型识别所述视频数据中目标人物的动作类型,以及每个所述动作类型对应的起止时间,包括:
将所述视频按照时序信息分割成多个帧图像;
基于预设的包含所述目标人物运动变化的区域框,从多个所述帧图像中确定所述目标人物;
从每个所述帧图像中提取所述目标人物对应的一组动作特征,得到多个所述帧图像对应的多组所述动作特征;
对多组所述动作特征与动作特征数据库中存储的标准动作特征逐一进行匹配,将与所述动作特征的相似度超过设定阈值的所述标准动作特征对应的动作类型作为所述动作特征对应的动作类型;
基于所述动作类型,对多个所述帧图像按照时序信息进行分组,得到多个动作类型对应的多组帧图像组成的多个视频片段;
基于所述视频片段中的起止帧图像分别对应的起止时间,确定所述视频中的多个所述动作类型分别对应的起止时间。
8.根据权利要求7所述的方法,其特征在于,所述基于所述动作类型,以及每个所述动作类型对应的起止时间对所述目标人物的动作执行打标签操作,输出携带有标签数据的所述视频数据,包括:
将所述动作类型,以及每个所述动作类型对应的起止时间以标签形式与所述视频数据共同输出。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于珠海格力电器股份有限公司;珠海联云科技有限公司,未经珠海格力电器股份有限公司;珠海联云科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010775545.5/1.html,转载请声明来源钻瓜专利网。