[发明专利]一种混剪视频确定方法、装置、设备及存储介质有效
申请号: | 202010245223.X | 申请日: | 2020-03-31 |
公开(公告)号: | CN111432141B | 公开(公告)日: | 2022-06-17 |
发明(设计)人: | 杨旭静;靳潇杰 | 申请(专利权)人: | 北京字节跳动网络技术有限公司 |
主分类号: | H04N5/265 | 分类号: | H04N5/265 |
代理公司: | 北京远智汇知识产权代理有限公司 11659 | 代理人: | 范坤坤 |
地址: | 100041 北京市石景山区*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 视频 确定 方法 装置 设备 存储 介质 | ||
1.一种混剪视频确定方法,其特征在于,包括:
根据预设背景音频,依序确定各音频片段分别对应的第一视频片段集合;其中,音频片段为根据音频关键点,将所述预设背景音频分割后得到的音频片段;
基于第一视频特征,确定各第一视频片段集合分别对应的第一视频特征表征数据集合,其中,第一视频特征包括至少两种视频特征;
根据各所述第一视频特征表征数据集合,确定用于混剪的各第一视频片段,其中,每相邻两个第一视频片段分别属于相邻两个音频片段对应的第一视频片段集合;
利用视频拼接算法,将各相邻的第一视频片段进行顺次拼接,得到目标混剪视频;
每个音频片段对应一个第一视频片段集合,每个第一视频片段集合中包括至少一个第一视频片段,且每个第一视频片段的时长均与相应的音频片段时长相同。
2.根据权利要求1所述的方法,其特征在于,在确定与音频片段对应的第一视频片段集合之前,还包括:
分别对每个音频片段对应的原始视频执行如下操作:
根据音频片段的时长,对原始视频进行视频片段提取,得到第一视频片段集合,其中,第一视频片段集合中的每个第一视频片段的时长均等于音频片段时长。
3.根据权利要求1所述的方法,其特征在于,第一视频特征包括美学特征、色彩特征和运动速度特征。
4.根据权利要求3所述的方法,其特征在于,基于第一视频特征,确定第一视频片段集合对应的第一视频特征表征数据集合,包括:
分别对第一视频片段集合中的每个第一视频片段执行如下操作:
将第一视频片段输入预先训练的美学特征深度学习网络,输出第一视频片段的美学特征表征数据;
将每个第一图像中的每个像素点对应的色彩值归一化为色彩特征表征子数据,其中,第一图像为第一视频片段中的图像;
基于色彩特征表征子数据,利用色彩特征表征数据确定规则,确定第一视频片段的色彩特征表征数据;
利用光流算法确定相邻两个第一图像之间的运动速度差值,并将运动速度差值归一化为运动速度表征子数据;
基于运动速度表征子数据,利用运动速度表征数据确定规则,确定第一视频片段的运动速度表征数据;
利用美学特征表征数据、色彩特征表征数据以及运动速度特征表征数据,确定第一视频片段的第一视频特征表征数据;
将每个第一视频特征表征数据作为第一视频特征表征数据集合。
5.根据权利要求1所述的方法,其特征在于,根据所述第一视频特征表征数据集合,确定最终用于混剪的各第一视频片段,包括:
针对各所述第一视频特征表征数据集合,在相应的第一视频片段集合中,确定候选第一视频片段集合;
基于第二视频特征,确定候选第一视频片段对所对应的第二视频特征表征数据,其中,所述候选第一视频片段对中的两个候选视频片段,分别属于相邻两个音频片段对应的两个候选第一视频片段集合,第二视频特征包括运动方向;
根据所述第二视频特征表征数据,确定用于混剪的各第一视频片段。
6.根据权利要求5所述的方法,其特征在于,针对各所述第一视频特征表征数据集合,在相应的第一视频片段集合中,确定候选第一视频片段集合,包括:
对各第一视频特征表征数据集合执行如下操作:
将所述第一视频特征表征数据集合中的第一视频特征表征数据依据数值大小进行排序;
确定前预设数目个第一视频特征表征数据对应的各第一视频片段,并将各第一视频片段作为候选第一视频片段集合。
7.根据权利要求5所述的方法,其特征在于,基于第二视频特征,确定候选第一视频片段对所对应的第二视频特征表征数据,包括:
对各候选第一视频片段对执行如下操作:
利用光流算法确定相邻两个第二图像之间的运动方向偏差,并将运动方向偏差归一化为运动方向表征数据,所述运动方向表征数据与候选第一视频片段对相对应,其中,在相邻两个第二图像中,前一个第二图像为在候选第一视频片段对中,前一个候选第一视频片段的最后一帧图像,后一个第二图像为在候选第一视频片段对中,后一个候选第一视频片段的第一帧图像。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京字节跳动网络技术有限公司,未经北京字节跳动网络技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010245223.X/1.html,转载请声明来源钻瓜专利网。