[发明专利]视频风格转换处理方法和装置有效
申请号: | 201811220100.X | 申请日: | 2018-10-19 |
公开(公告)号: | CN109359687B | 公开(公告)日: | 2020-11-24 |
发明(设计)人: | 柏提;孙昊;刘霄;李鑫;赵翔;杨凡;李旭斌;文石磊;丁二锐 | 申请(专利权)人: | 百度在线网络技术(北京)有限公司 |
主分类号: | G06K9/62 | 分类号: | G06K9/62;G06T3/40;G06T7/11 |
代理公司: | 北京清亦华知识产权代理事务所(普通合伙) 11201 | 代理人: | 宋合成 |
地址: | 100085 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 视频 风格 转换 处理 方法 装置 | ||
本申请提出一种视频风格转换处理方法和装置,其中,方法包括:根据样本图片的风格属性信息设置反映风格属性特征网络层的第一目标输出向量,根据当前输入视频帧的内容信息设置反映内容特征网络层的第二目标输出向量,根据当前输入视频帧的光流场信息设置反映光流场特征网络层的第三目标输出向量,根据第一目标输出向量、第二目标输出向量、第三目标输出向量训练目标模型中每个网络层的网络参数,根据满足预设训练条件时对应的目标网络参数和目标模型生成与样本图片对应的视频风格转换模型,以根据视频风格转换模型对目标视频进行转换处理生成与样本图片匹配的视频风格。由此,在确保视频流畅性的同时提高了视频风格转换处理的效率。
技术领域
本申请涉及视频处理技术领域,尤其涉及一种视频风格转换处理方法和装置。
背景技术
随着互联网技术的不断发展,用户对媒体资源的丰富性的需求也越来越高,例如从经典的文字内容进化到后来的图片内容,进而到如今广泛流行的视频特别是短视频内容。另一方面,用户也希望能够对内容本身进行重新的艺术加工从而获得更加新颖更加具有创意的艺术形态,比如视频的艺术风格转换。
相关技术中,艺术风格的转换方法只能针对单张图片进行风格转换,因此利用经典的基于图片逐帧的方式进行风格转换处理,由于视频内容往往包含海量数据必然会导致耗时过长的问题,以及每帧图片之间可能存在突变,即风格转换后的图片内容和原始转换前的图片内容不具有相同的光流场,影响视频的流畅性。
发明内容
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
为此,本申请的第一个目的在于提出一种视频风格转换处理方法,通过训练生成视频风格转换模型,在确保视频流畅性的同时提高了视频风格转换处理的效率。
本申请的第二个目的在于提出另一种视频风格转换处理方法。
本申请的第三个目的在于提出一种视频风格转换处理装置。
本申请的第四个目的在于提出另一种视频风格转换处理装置。
本申请的第五个目的在于提出一种计算机设备。
本申请的第六个目的在于提出一种计算机程序产品。
本申请的第七个目的在于提出一种非临时性计算机可读存储介质。
为达上述目的,本申请的第一个目的在于提出一种视频风格转换处理方法,包括:
获取用于模型训练的样本图片以及对应的样本视频集合;
获取所述样本图片的风格属性信息,进而在训练所述目标模型的过程中,根据所述风格属性信息设置目标模型中反映风格属性特征网络层的第一目标输出向量;
获取所述样本视频中每个视频帧的内容信息和光流场信息,进而在训练所述目标模型的过程中,根据当前输入视频帧的内容信息设置所述目标模型中反映内容特征网络层的第二目标输出向量,以及根据当前输入视频帧的光流场信息设置所述目标模型中反映光流场特征网络层的第三目标输出向量;
根据所述第一目标输出向量、所述第二目标输出向量,以及所述第三目标输出向量训练所述目标模型中每个网络层的网络参数,并根据满足预设训练条件时对应的目标网络参数和所述目标模型,生成与所述样本图片对应的视频风格转换模型,以根据所述视频风格转换模型对目标视频进行转换处理生成与所述样本图片匹配的视频风格。
为达上述目的,本申请的第二个目的在于提出一种视频风格转换处理方法,包括:
获取包含目标视频和目标图片的视频风格转换请求;
获取预先训练的与所述目标图片对应的目标视频风格转换模型;
根据所述目标视频风格转换模型对所述目标视频进行转换处理生成与所述目标图片匹配的视频风格。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于百度在线网络技术(北京)有限公司,未经百度在线网络技术(北京)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811220100.X/2.html,转载请声明来源钻瓜专利网。