[发明专利]一种视频检测方法、装置、电子设备以及存储介质有效
申请号: | 202110586366.1 | 申请日: | 2021-05-27 |
公开(公告)号: | CN113239855B | 公开(公告)日: | 2023-04-18 |
发明(设计)人: | 张飞;梁艺铧;王素珍;丁锐 | 申请(专利权)人: | 抖音视界有限公司 |
主分类号: | G06V20/40 | 分类号: | G06V20/40;G06V10/74;G06V10/40 |
代理公司: | 北京开阳星知识产权代理有限公司 11710 | 代理人: | 祝乐芳 |
地址: | 100041 北京市石景山区*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 视频 检测 方法 装置 电子设备 以及 存储 介质 | ||
1.一种视频检测方法,其特征在于,包括:
分别对待进行相似度检测的第一视频和第二视频进行抽帧,得到第一视频图像帧集合和第二视频图像帧集合;
提取所述第一视频图像帧集合和第二视频图像帧集合中各图像帧的图像特征;
将所述第一视频相邻两图像帧的所述图像特征进行差分,得到第一视频特征差分集合;并将所述第二视频相邻两图像帧的所述图像特征进行差分,得到第二视频特征差分集合;
基于所述第一视频特征差分集合和所述第二视频特征差分集合,查找第一视频与第二视频中的匹配片段;
根据所述匹配片段,计算所述第一视频和所述第二视频之间的相似度并确定两视频是否相似;
所述提取所述第一视频图像帧集合和第二视频图像帧集合中各图像帧的图像特征,包括:
基于深度特征提取模型提取所述图像特征;
所述深度特征提取模型为训练动量对比模型得到的q编码模块,所述动量对比模型包括q编码模块和k编码模块;
所述训练动量对比模型包括:自监督微调训练,和/或,有监督微调训练。
2.根据权利要求1所述的方法,其特征在于,所述基于所述第一视频特征差分集合和所述第二视频特征差分集合,查找第一视频与第二视频中的匹配片段包括:
基于所述第一视频的时长小于所述第二视频的时长,确定所述第一视频特征差分集合为模式序列,且所述第二视频特征差分集合为主序列;
基于所述模式序列和所述主序列,查找第一视频与第二视频中的匹配片段。
3.根据权利要求2所述的方法,其特征在于,所述基于所述模式序列和所述主序列,查找第一视频与第二视频中的匹配片段包括:
确定所述模式序列中各元素和所述主序列中各元素之间的相似度;
基于所述主序列确定多个子序列,每个所述子序列的长度大于所述模式序列;
基于所述模式序列中各元素和所述主序列中各元素之间的相似度以及所述多个子序列,确定所述模式序列的匹配序列。
4.根据权利要求3所述的方法,其特征在于,所述基于所述主序列确定多个子序列包括:
设置用于确定子序列的滑动窗口的长度和滑动步长,所述滑动窗口的长度大于所述模式序列的长度;
基于所述滑动窗口的长度和所述滑动步长,从所述主序列中确定多个子序列。
5.根据权利要求3所述的方法,其特征在于,所述基于所述模式序列中各元素和所述主序列中各元素之间的相似度以及所述多个子序列,确定所述模式序列的匹配序列包括:
基于所述模式序列中各元素和所述主序列中各元素之间的相似度,确定所述模式序列在每个所述子序列中的匹配距离;
确定最小的匹配距离所对应的子序列为所述模式序列的匹配序列。
6.根据权利要求3所述的方法,其特征在于,所述确定所述模式序列的匹配序列之后,所述方法还包括:
基于所述模式序列与所述匹配序列之间的相似度向量,裁剪所述模式序列和所述匹配序列,得到最佳匹配片段;
所述根据所述匹配片段,计算所述第一视频和所述第二视频之间的相似度并确定两视频是否相似包括:
根据所述最佳匹配片段,计算所述第一视频和所述第二视频之间的相似度并确定两视频是否相似。
7.根据权利要求6所述的方法,其特征在于,所述裁剪所述模式序列和所述匹配序列包括:
剔除所述模式序列和所述匹配序列两端相似度满足剔除条件的连续帧。
8.根据权利要求7所述的方法,其特征在于,所述剔除条件为:相似度小于所述相似度向量中最大相似度的一半。
9.根据权利要求3所述的方法,其特征在于,所述根据所述匹配片段,计算所述第一视频和所述第二视频之间的相似度包括:
基于所述模式序列与所述匹配序列之间的相似度向量,计算平均相似度,所述平均相似度为所述第一视频和所述第二视频之间的相似度。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于抖音视界有限公司,未经抖音视界有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110586366.1/1.html,转载请声明来源钻瓜专利网。