[发明专利]基于音视频内容的音视频属性比对方法、系统、终端及介质在审

专利信息
申请号: 202110958062.3 申请日: 2021-08-18
公开(公告)号: CN113660484A 公开(公告)日: 2021-11-16
发明(设计)人: 杨森;吴志刚;王延东;李行军;杨登山 申请(专利权)人: 新疆朝阳商用数据传输有限公司
主分类号: H04N17/00 分类号: H04N17/00;G06F16/65;G06F16/75;G06T7/00;G06K9/00;G06K9/62;G06N3/04;G06N3/08
代理公司: 济南智圆行方专利代理事务所(普通合伙企业) 37231 代理人: 张玉琳
地址: 830002 新疆维吾尔自治区乌鲁木*** 国省代码: 新疆;65
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 基于 视频 内容 属性 方法 系统 终端 介质
【权利要求书】:

1.一种基于音视频内容的音视频属性比对方法,进行音视频数据的采集,将采集的视频重命名,命名是按照,编写程序,导入音视频文件包,然后逐个遍历音视频,按照文件名的关键词将采集的音视频数据信息进行初步的分类,其特征在于,根据获得分类后的音视频数据信息,进行视频的抽图像块采样、图像前后景分层标示、动静态特征匹配运算、字幕和图标分离、滤波和波形变换,实现基于内容的视频属性的提取,同时结合CNN卷积神经网络实现对视频图像抽图像块、训练、匹配、识别操作;

视频图像识别包括:

构建视频图像特征识别矩阵分析短视频播放状态,对于图像序列在时间间隔很小的情况下,用式(1)的状态模型来预测;

S(n)=Φ·S(n-1)+W(n-1) (1)

其中S(n)表示在第n图像块图像中的系统状态,W(n-1)表示的是系统的估计误差,Φ是状态转换矩阵;则:

其中,Δx(n)、Δy(n)是短视频运动目标在相邻两图像块间x和y方向的速度量,Δx′(n)、Δy′(n)是其x和y方向的加速度,xs(n)、ys(n)表示目标物的矩形窗口的长度和宽度,x′s(n)、y′s(n)表示其矩形窗口的长度和宽度的变化率;

在采样时间Δt很小且矩形变化为线性时,则:

当系统状态与观测值之间是线性关系时,系统量测方程为:

M(n)=H·S(n)+V(n) (4)

M(n)表示量测向量,H是量测矩阵,V(n)是量测误差,且:

构建视频图像特征识别矩阵为:

利用运动目标的特征与目前目标所处的区域特点构建新矩阵,利用矩形跟踪法判别目标是否产生、是否消失;并分析目标特征,预判目标状态空间,判断目标的所处运动状态;

获取短视频播放状态后,进行是否合法判断:

将短视频划分为不重叠的部分,每部分有wl图像块,被称为图像块窗口,图像块窗口的长度应尽量小以进行实时编码,选择wl为短视频一秒内的图像块数,覆盖持续一秒内的视觉事件;

从每个图像块窗口中选择关键图像块,图像块号为k,以关键图像块为中心图像块形成一个长度为2G+1的关键段,G是固定值,对应于关键图像块和关键段的集合为k-G,k-G+1,...,k-1,k,k+1,...,k+G,关键图像块是关键段中的中心图像块,关键段的长度2G+1小于图像块窗口的长度wl

通过对关键图像块进行高度压缩构成参考图像块,参考图像块记录着关键图像块的主要内容,对于图像块窗口内不在关键段中的其他图像块,通过图像块窗口号、图像块号以及其他图像块与同一个窗口内关键图像块的距离构成图像块索引;

将参考图像块嵌入到关键段中,图像块窗口内不属于关键段的其他图像块的图像块索引被嵌入到同一图像块中;

每个参考图像块都被视为一个合法比特序列,每个是比特的信息,其中表示编码符号长度,是编码符号的数量,关键段中的每个图像块都被分解成个大小为的块,块的大小表示是否合法位的精度表示:

式中,表示N表示图像块分解的块数,b2表示块的大小,W表示短视频宽度,H表示短视频高度;

对于每一图像块j,被分解的N个块表示为Bj,1,...,Bj,N,利用喷泉编码将参考图像块嵌入这些块中Bj,p,1≤p≤N and k-G≤j≤k+G,(2G+1)N块中的每个块都携带从参考图像块R1,...,Rn进行喷泉编码而获得的水印有效载荷符号,Bj,p的相应水印有效载荷由Wj,p表示,并计算为R1,...,Rn的伪随机线性组合,Wj,p的符号长度等于SL;验证水印由哈希函数Bj,p和Wj,p组成:

Hj,p=Hash(Bj,p,Wj,p,j,p,key);

关键图像块的选择使用基于直方图比较方法即基于图像块窗口中镜头变化的边界位置提取关键图像块,对于每一图像块j,计算差异特征值:

式中,Histj表示图像块j的强度直方图,b是强度值;

对于图像块窗口内的任何其他图像块j,满足d(k)≥d(j),通过选择关键图像块k,如果关键图像块到图像块窗口中起始图像块的距离小于G,k<G,将k替换G;同样,如果关键图像块到图像块窗口中最后一图像块的距离小于G,k>wl-G,将k替换wl-G,选取的每个图像块窗口长度基本相似,图像块窗口中的关键图像块都代表该图像块窗口的内容。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于新疆朝阳商用数据传输有限公司,未经新疆朝阳商用数据传输有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/202110958062.3/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top