[发明专利]视频处理方法及装置、电子设备和存储介质在审
申请号: | 202111483515.8 | 申请日: | 2021-12-07 |
公开(公告)号: | CN114202562A | 公开(公告)日: | 2022-03-18 |
发明(设计)人: | 许通达;高宸健;王岩;袁涛;秦红伟 | 申请(专利权)人: | 北京市商汤科技开发有限公司 |
主分类号: | G06T7/246 | 分类号: | G06T7/246;G06T7/13;G06V20/40;G06V10/40;G06V10/44;G06V10/62;G06V10/82 |
代理公司: | 北京林达刘知识产权代理事务所(普通合伙) 11277 | 代理人: | 刘新宇 |
地址: | 100080 北京市海淀区北*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 视频 处理 方法 装置 电子设备 存储 介质 | ||
1.一种视频处理方法,其特征在于,包括:
获取待处理视频流中的第一视频帧,以及所述第一视频帧和第二视频帧之间的第一运动向量,其中,所述第二视频帧为第一视频帧之后的任意视频帧;
对所述第一视频帧中的目标对象进行检测处理,获取所述目标对象在第一视频帧中的轮廓关键点的第一位置信息,以及所述第一视频帧的第一掩膜图像,其中,所述第一掩膜图像为表示所述第一视频帧中目标对象的位置和轮廓的图像,所述轮廓关键点位于所述轮廓上;
根据所述第一运动向量、所述第一位置信息和所述第一掩膜图像,获得第二运动向量,其中,所述第二运动向量为修正后的运动向量;
根据所述第二运动向量和所述第一位置信息,获得所述目标对象在第二视频帧中的轮廓关键点的第二位置信息。
2.根据权利要求1所述的方法,其特征在于,根据所述第一运动向量、所述第一位置信息和所述第一掩膜图像,获得第二运动向量,包括:
根据所述第一运动向量,获得分量特征图,所述分量特征图由第一运动向量的分量确定;
将所述分量特征图、所述第一位置信息和所述第一掩膜图像输入修正神经网络,获得运动向量修正量;
根据所述运动向量修正量和所述第一运动向量,获得所述第二运动向量。
3.根据权利要求2所述的方法,其特征在于,根据所述第一运动向量,获得分量特征图,包括:
将所述第一运动向量进行分解,获得第一维度分量和第二维度分量;
根据所述第一维度分量和所述第二维度分量,分别获得分量特征图。
4.根据权利要求2所述的方法,其特征在于,所述方法还包括:
对样本视频流的第一样本视频帧进行检测处理,获取目标对象的轮廓关键点的第一样本位置信息;
获取所述第一样本视频帧的第一样本掩膜图像、所述第一样本视频帧和第二样本视频帧之间的样本运动向量,其中,所述第一样本掩膜图像为表示第一样本视频帧中目标对象的位置和轮廓的图像,所述轮廓关键点位于所述轮廓上,所述第二样本视频帧为所述第一样本视频帧之后的任意视频帧;
根据所述样本运动向量、所述第一样本掩膜图像、所述第一样本位置信息和所述修正神经网络,获得修正运动向量;
根据所述第一样本视频帧和所述第二样本视频帧,获得参考运动向量;
根据所述修正运动向量和所述参考运动向量,获得所述修正神经网络的网络损失;
根据所述网络损失,训练所述修正神经网络。
5.根据权利要求4所述的方法,其特征在于,根据所述样本运动向量、所述第一样本掩膜图像、所述第一样本位置信息和所述修正神经网络,获得修正运动向量,包括:
根据所述样本运动向量和预设的噪声信号,获得样本分量特征图;
根据将所述样本分量特征图、所述第一样本掩膜图像和所述第一样本位置信息输入所述修正神经网络,获得样本修正量;
根据所述样本修正量和所述样本运动向量,获得修正运动向量。
6.根据权利要求1至5任一项所述的方法,其特征在于,所述方法还包括:
根据所述目标对象在第二视频帧中的轮廓关键点的第二位置信息,获得所述第二视频帧的第二掩膜图像,所述第二掩膜图像为表示所述第二视频帧中目标对象的位置和轮廓的图像。
7.根据权利要求6所述的方法,其特征在于,根据所述目标对象在第二视频帧中的轮廓关键点的第二位置信息,获得所述第二视频帧的第二掩膜图像,包括:
根据所述第一视频帧中的轮廓关键点之间的相对关系,对所述第二视频帧中的轮廓关键点进行连接,获得所述目标对象在所述第二视频帧中的轮廓;
根据所述目标对象在所述第二视频帧中的轮廓,获得所述第二掩膜图像。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京市商汤科技开发有限公司,未经北京市商汤科技开发有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111483515.8/1.html,转载请声明来源钻瓜专利网。
- 上一篇:升降式自行车维修架
- 下一篇:一种基于织物传感器的儿童呼吸监控方法及系统