[发明专利]视频处理方法、装置及计算机可读存储介质有效
申请号: | 202111018263.1 | 申请日: | 2021-09-01 |
公开(公告)号: | CN113449824B | 公开(公告)日: | 2021-11-30 |
发明(设计)人: | 郭卉 | 申请(专利权)人: | 腾讯科技(深圳)有限公司 |
主分类号: | G06K9/62 | 分类号: | G06K9/62;H04N21/234;H04N21/44 |
代理公司: | 广州三环专利商标代理有限公司 44202 | 代理人: | 熊永强;杜维 |
地址: | 518057 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 视频 处理 方法 装置 计算机 可读 存储 介质 | ||
1.一种视频处理方法,其特征在于,所述方法包括:
对目标视频进行特征提取得到特征序列,所述特征序列包括所述目标视频中多帧图像的特征信息;
调用定位点识别模型对所述特征序列进行处理,得到所述目标视频的定位点,所述定位点识别模型是基于样本视频的多帧图像中每帧图像对应的累积特征信息以及所述样本视频的标注信息,对第三网络模型进行训练得到的,所述标注信息包括所述样本视频中循环片段的参考定位点;其中,所述调用定位点识别模型对所述特征序列进行处理,得到所述目标视频的定位点,具体包括:调用定位点识别模型确定出所述特征序列中每帧图像对应的累积特征信息,并基于所述累积特征信息的变化情况确定所述目标视频的定位点;
根据所述定位点将所述目标视频划分为多个视频片段;
调用相似度判断模型获取所述多个视频片段之间的相似度,并根据所述相似度确定所述目标视频是否为循环视频。
2.根据权利要求1所述的方法,其特征在于,所述调用定位点识别模型对所述特征序列进行处理,得到所述目标视频的定位点,包括:
调用定位点识别模型确定所述特征序列的自相关矩阵,所述自相关矩阵用于指示所述多帧图像中每两帧图像之间的相关度;
调用所述定位点识别模型对所述自相关矩阵进行池化处理,得到池化后的矩阵;
调用所述定位点识别模型获取所述池化后的矩阵的梯度,并根据所述梯度确定定位点。
3.根据权利要求2所述的方法,其特征在于,所述调用定位点识别模型确定所述特征序列的自相关矩阵,包括:
调用定位点识别模型中的长短时记忆网络对所述特征序列进行处理,得到所述多帧图像中每帧图像对应的累积特征信息;
根据所述多帧图像中每两帧图像对应的累积特征信息之间的差异,确定所述每两帧图像之间的相关度;
根据所述每两帧图像之间的相关度创建所述特征序列的自相关矩阵。
4.根据权利要求1-3任一项所述的方法,其特征在于,所述定位点包括定位起点和定位终点中的一种或两种,所述定位起点用于指示预测的循环视频片段的开始时间点,所述定位终点用于指示预测的循环视频片段的结束时间点,所述根据所述定位点将所述目标视频划分为多个视频片段,包括:
根据所述定位起点和所述定位终点中的一种或两种确定视频分割点;
利用所述视频分割点对所述目标视频进行分割处理,得到所述目标视频对应的多个视频片段。
5.根据权利要求1所述的方法,其特征在于,所述对目标视频进行特征提取得到特征序列,包括:
对目标视频进行抽帧处理,得到所述目标视频中的多帧图像;
对所述多帧图像中的每帧图像进行特征提取,得到所述每帧图像的特征信息;
将所述每帧图像的特征信息组合后得到特征序列。
6.根据权利要求1所述的方法,其特征在于,所述调用相似度判断模型获取所述多个视频片段之间的相似度,并根据所述相似度确定所述目标视频是否为循环视频,包括:
调用相似度判断模型获取所述多个视频片段中每两个视频片段对应的特征向量;
调用所述相似度判断模型确定所述每两个视频片段对应的特征向量之间的相似度;
若所述多个视频片段中存在两个视频片段对应的特征向量之间的相似度大于或等于相似度阈值,则确定所述目标视频为循环视频。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取第一训练样本,所述第一训练样本包括多个样本视频对以及每个样本视频对的标注信息,所述标注信息包括所述每个样本视频对中循环片段的参考定位点以及参考相似度,所述多个样本视频对包括正样本视频对和负样本视频对;
利用所述多个样本视频对以及所述每个样本视频对的标注信息对第一网络模型以及预训练得到的第二网络模型进行联合训练,得到训练后的第一网络模型以及第二网络模型;
将所述训练后的第一网络模型作为相似度判断模型,并将所述训练后的第二网络模型作为定位点识别模型。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111018263.1/1.html,转载请声明来源钻瓜专利网。