[发明专利]基于音视频内容的音视频属性比对方法、系统、终端及介质在审
申请号: | 202110958062.3 | 申请日: | 2021-08-18 |
公开(公告)号: | CN113660484A | 公开(公告)日: | 2021-11-16 |
发明(设计)人: | 杨森;吴志刚;王延东;李行军;杨登山 | 申请(专利权)人: | 新疆朝阳商用数据传输有限公司 |
主分类号: | H04N17/00 | 分类号: | H04N17/00;G06F16/65;G06F16/75;G06T7/00;G06K9/00;G06K9/62;G06N3/04;G06N3/08 |
代理公司: | 济南智圆行方专利代理事务所(普通合伙企业) 37231 | 代理人: | 张玉琳 |
地址: | 830002 新疆维吾尔自治区乌鲁木*** | 国省代码: | 新疆;65 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 视频 内容 属性 方法 系统 终端 介质 | ||
1.一种基于音视频内容的音视频属性比对方法,进行音视频数据的采集,将采集的视频重命名,命名是按照,编写程序,导入音视频文件包,然后逐个遍历音视频,按照文件名的关键词将采集的音视频数据信息进行初步的分类,其特征在于,根据获得分类后的音视频数据信息,进行视频的抽图像块采样、图像前后景分层标示、动静态特征匹配运算、字幕和图标分离、滤波和波形变换,实现基于内容的视频属性的提取,同时结合CNN卷积神经网络实现对视频图像抽图像块、训练、匹配、识别操作;
视频图像识别包括:
构建视频图像特征识别矩阵分析短视频播放状态,对于图像序列在时间间隔很小的情况下,用式(1)的状态模型来预测;
S(n)=Φ·S(n-1)+W(n-1) (1)
其中S(n)表示在第n图像块图像中的系统状态,W(n-1)表示的是系统的估计误差,Φ是状态转换矩阵;则:
其中,Δx(n)、Δy(n)是短视频运动目标在相邻两图像块间x和y方向的速度量,Δx′(n)、Δy′(n)是其x和y方向的加速度,xs(n)、ys(n)表示目标物的矩形窗口的长度和宽度,x′s(n)、y′s(n)表示其矩形窗口的长度和宽度的变化率;
在采样时间Δt很小且矩形变化为线性时,则:
当系统状态与观测值之间是线性关系时,系统量测方程为:
M(n)=H·S(n)+V(n) (4)
M(n)表示量测向量,H是量测矩阵,V(n)是量测误差,且:
构建视频图像特征识别矩阵为:
利用运动目标的特征与目前目标所处的区域特点构建新矩阵,利用矩形跟踪法判别目标是否产生、是否消失;并分析目标特征,预判目标状态空间,判断目标的所处运动状态;
获取短视频播放状态后,进行是否合法判断:
将短视频划分为不重叠的部分,每部分有wl图像块,被称为图像块窗口,图像块窗口的长度应尽量小以进行实时编码,选择wl为短视频一秒内的图像块数,覆盖持续一秒内的视觉事件;
从每个图像块窗口中选择关键图像块,图像块号为k,以关键图像块为中心图像块形成一个长度为2G+1的关键段,G是固定值,对应于关键图像块和关键段的集合为k-G,k-G+1,...,k-1,k,k+1,...,k+G,关键图像块是关键段中的中心图像块,关键段的长度2G+1小于图像块窗口的长度wl;
通过对关键图像块进行高度压缩构成参考图像块,参考图像块记录着关键图像块的主要内容,对于图像块窗口内不在关键段中的其他图像块,通过图像块窗口号、图像块号以及其他图像块与同一个窗口内关键图像块的距离构成图像块索引;
将参考图像块嵌入到关键段中,图像块窗口内不属于关键段的其他图像块的图像块索引被嵌入到同一图像块中;
每个参考图像块都被视为一个合法比特序列,每个是比特的信息,其中表示编码符号长度,是编码符号的数量,关键段中的每个图像块都被分解成个大小为的块,块的大小表示是否合法位的精度表示:
式中,表示N表示图像块分解的块数,b2表示块的大小,W表示短视频宽度,H表示短视频高度;
对于每一图像块j,被分解的N个块表示为Bj,1,...,Bj,N,利用喷泉编码将参考图像块嵌入这些块中Bj,p,1≤p≤N and k-G≤j≤k+G,(2G+1)N块中的每个块都携带从参考图像块R1,...,Rn进行喷泉编码而获得的水印有效载荷符号,Bj,p的相应水印有效载荷由Wj,p表示,并计算为R1,...,Rn的伪随机线性组合,Wj,p的符号长度等于SL;验证水印由哈希函数Bj,p和Wj,p组成:
Hj,p=Hash(Bj,p,Wj,p,j,p,key);
关键图像块的选择使用基于直方图比较方法即基于图像块窗口中镜头变化的边界位置提取关键图像块,对于每一图像块j,计算差异特征值:
式中,Histj表示图像块j的强度直方图,b是强度值;
对于图像块窗口内的任何其他图像块j,满足d(k)≥d(j),通过选择关键图像块k,如果关键图像块到图像块窗口中起始图像块的距离小于G,k<G,将k替换G;同样,如果关键图像块到图像块窗口中最后一图像块的距离小于G,k>wl-G,将k替换wl-G,选取的每个图像块窗口长度基本相似,图像块窗口中的关键图像块都代表该图像块窗口的内容。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于新疆朝阳商用数据传输有限公司,未经新疆朝阳商用数据传输有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110958062.3/1.html,转载请声明来源钻瓜专利网。
- 上一篇:锅炉燃烧布风结构的优化方法和系统
- 下一篇:一种用于医疗咽喉科咽喉喷药设备
- 内容再现系统、内容提供方法、内容再现装置、内容提供装置、内容再现程序和内容提供程序
- 内容记录系统、内容记录方法、内容记录设备和内容接收设备
- 内容服务系统、内容服务器、内容终端及内容服务方法
- 内容分发系统、内容分发装置、内容再生终端及内容分发方法
- 内容发布、内容获取的方法、内容发布装置及内容传播系统
- 内容提供装置、内容提供方法、内容再现装置、内容再现方法
- 内容传输设备、内容传输方法、内容再现设备、内容再现方法、程序及内容分发系统
- 内容发送设备、内容发送方法、内容再现设备、内容再现方法、程序及内容分发系统
- 内容再现装置、内容再现方法、内容再现程序及内容提供系统
- 内容记录装置、内容编辑装置、内容再生装置、内容记录方法、内容编辑方法、以及内容再生方法